1000万時間の音声で学習した最強のAI音声合成 — オープンソースで誰でも使える — fish-speech

アーキテクチャ・仕組み

Dual-Autoregressive（二重自己回帰）アーキテクチャ

• デコーダのみのTransformerとRVQベースの音声コーデック（10コードブック、約21Hzフレームレート）を組み合わせた構造
• Slow AR: 時間軸に沿って主要な意味コードブックを予測（40億パラメータ）
• Fast AR: 各タイムステップで残り9つの残差コードブックを生成し、音声の細部を再構成（4億パラメータ）
• この非対称設計により、推論効率と音声品質を両立

強化学習アライメント

• GRPO（Group Relative Policy Optimization） を使った事後学習
• 学習データのフィルタリング・アノテーションに使ったモデルをそのまま報酬モデルとして再利用（分布のミスマッチを排除）
• 報酬信号は意味的正確性、指示遵守、音響品質、音色類似度の組み合わせ

モデルバリアント

HuggingFace で公開: https://huggingface.co/fishaudio/s2-pro

ベンチマーク結果

• Seed-TTS Eval WER: 中国語 0.54%、英語 0.99%（全モデル中最良）
• Audio Turing Test: 後方平均 0.515（Seed-TTS の 0.417 を24%上回る）
• EmergentTTS-Eval 勝率: 81.88%（全体最高、特にパラ言語91.61%）
• 多言語（MiniMax テストセット）: 24言語中WER最良が11言語、SIM最良が17言語

比較対象: Qwen3-TTS、MiniMax Speech-02、Seed-TTS などの商用システムを上回る

主要な機能一覧

• 自然言語による細粒度制御: [whisper], [laugh], [super happy] などの自由記述タグで感情・韻律を制御
• 声のクローン: 10〜30秒の参照音声から追加学習なしで声を再現
• マルチスピーカー生成: <|speaker:i|> トークンで複数話者を1回の生成で処理
• マルチターン生成: 拡張コンテキストにより前の内容を活かした自然な連続音声
• 約50言語対応: 音素変換や言語固有の前処理が不要

パフォーマンス（NVIDIA H200 GPU 1枚）

• RTF（リアルタイムファクター）: 0.195（実時間の約5倍速で生成）
• 初音声までの遅延: 約100ms
• スループット: 3,000+音響トークン/秒（RTF 0.5以下を維持）

本番運用サポート

• SGLangを使ったストリーミング配信に対応
• 連続バッチ処理、ページドKVキャッシュ、CUDAグラフリプレイ、RadixAttentionベースのプレフィックスキャッシュなどLLMネイティブの最適化をそのまま利用可能
• Docker対応

対応環境

• Docker、WebUI、コマンドライン、サーバーモードなど複数の利用形態
• SGLangサーバーによる高性能推論

ライセンス

• FISH AUDIO RESEARCH LICENSE のもとで公開
• 商用利用についてはライセンス条項を確認する必要あり
• 違法な利用に対する責任は利用者に帰属

技術レポート

• arXiv: https://arxiv.org/abs/2411.01156
• arXiv (S2): https://arxiv.org/abs/2603.08823

公式ドキュメントに従ってインストールできます。

基本インストール

公式サイトの手順を参照:

• インストールガイド

Dockerでのセットアップ

• Docker Setup

推論方法

• コマンドラインでの推論: CLI Inference
• WebUI（ブラウザ画面）での推論: WebUI Inference
• サーバーとしての運用: Server

SGLangサーバー

高速配信用のSGLangサーバーについては SGLang-Omni README を参照。