CosyVoice2：実際の会話に十分な速さの音声合成
テキストと録音を、聴ける作品に
ナレーション、ステム分離、カバー、効果音を、ブラウザだけで。
- テキスト読み上げも、ボイスクローンも
- 音軌を分離するか、カバーを生成
- 登録して試聴。聴いてから決められる
初代 CosyVoice は、教師ありセマンティックトークンが、以前の教師なしトークンモデルより正確で一貫したゼロショット音声クローンを生み出せることを証明しました。しかし、リアルタイムで応答することはできませんでした。第一世代の LLM ベース TTS の大半と同様に、音声を生成し始める前に完全なテキストを必要としたのです。CosyVoice2 はまさにその隔たりを埋めるために作られ、同じ基盤となる手法を、ライブ音声チャットに十分低い初回パケット遅延を備えたストリーミングアーキテクチャへと再構築しました。
CosyVoice2 の新機能
Alibaba の Tongyi 音声チームが開発した CosyVoice2 は、初代モデルを機能させた教師ありセマンティックトークンの基盤を保ちながら、3 つの具体的なエンジニアリング変更を中心にパイプラインを再構築しています。
有限スカラー量子化。 元のモデルの音声トークナイザーでは、コードブックの一部が十分に活用されていませんでした。CosyVoice2 はこれを有限スカラー量子化に置き換え、コードブックの利用率を改善し、より効率的で充実した音声表現をモデルに与えます。
簡素化されたテキスト・音声言語モデル。 LM アーキテクチャを合理化することで、CosyVoice2 は専用アーキテクチャを必要とせず、事前学習済みの大規模言語モデルを直接バックボーンとして使えます。この変更は学習を簡素化すると同時に、ベース LLM の汎用的な言語理解を継承します。
チャンク認識型の因果フローマッチング。 これが実際にストリーミングを可能にする部分です。mel スペクトログラムを生成する前に入力全体を待つ代わりに、CosyVoice2 は因果順序のチャンクで音声を処理し、ストリーミングと非ストリーミングの合成を、2 つの別モデルとして提供するのではなく単一のフレームワークに統合します。チームが公開した結果では、このストリーミングモードの出力品質は完全なオフライン生成とほとんど区別できないと説明されています。これは、ストリーミング TTS が従来必要としてきた品質面の妥協とは明確に異なる結果です。
重要な数値
- 150ms の初回パケット遅延。 CosyVoice2 はテキストを受け取ってから約 150 ミリ秒で音声の生成を開始できます。応答テキストを生成する LLM と組み合わせた音声チャットパイプラインでは、2 つのモデルが順に動いても、知覚される遅延を低く保てる速さです。
- 元の CosyVoice と比較して 発音エラーが 30〜50% 少ない。改善されたトークナイザーと簡素化された LM アーキテクチャの直接的な結果です。
- MOS スコアは 5.4 から 5.53 へ上昇。レイテンシの向上と同時に人間の評価による自然さも改善したことを示します。CosyVoice2 は速度のために品質を犠牲にするのではなく、両方を同時に改善しています。
- リリース時点で比較されたモデルの中で、Seed-TTS hard テストセットにおける文字誤り率が最も低い。このベンチマークは、難しい発音ケースを厳しく検証するために特別に設計されています。
これらの数値の背景には、知っておくべき学習の詳細があります。CosyVoice2 はファインチューニング時に強化学習を使い、話者類似度と ASR で測定した単語誤り率を報酬信号にしています。つまり、汎用的な再構成損失だけを最適化するのではなく、対象話者らしく聞こえ、単語を正しく発話する方向へモデルを直接最適化します。
クローンと統合された指示生成
CosyVoice2 は、元のリリースで分かれていたゼロショット音声クローンと指示ベースのスタイル制御という 2 つの能力も統合しました。第一世代の CosyVoice ファミリーでは、基本のクローンモデルか個別の Instruct checkpoint のいずれかを選ぶ必要がありました。CosyVoice2 は両方を 1 つのモデルに統合しているため、参照クリップから音声をクローンし、必要な能力ごとに checkpoint を切り替えることなく、指示によって感情、アクセント、役柄風の話し方を独立して制御できます。
CosyVoice2 を始める
- サブモジュール付きでリポジトリをクローンします。 元の CosyVoice と同様に
git clone --recursive https://github.com/FunAudioLLM/CosyVoice.gitを使います。CosyVoice2 は同じリポジトリと Matcha-TTS 依存関係を共有しています。 - CosyVoice2-0.5B checkpoint をダウンロードします。 Hugging Face と ModelScope から入手でき、元の CosyVoice-300M checkpoint とは異なります。ストリーミングが必要な場合は、必ず 2.0 の重みを取得してください。
- ストリーミングまたはオフラインモードを明示的に選びます。 CosyVoice2 は両方を 1 つのフレームワークに統合しているため、どちらの経路を実行するかは推論呼び出しで決まります。インタラクティブな用途にはストリーミングを、遅延が問題にならない最高品質のバッチ生成にはオフラインを使います。
- クローンと一緒に指示生成を試します。 参照音声クリップとスタイル指示（感情、アクセント、または役柄）を同じ呼び出しで組み合わせ、クローンと指示制御を別々に試すのではなく統合された能力を確認します。
- 自分のハードウェアで初回パケット遅延をベンチマークします。 公開された 150ms という数値はチーム自身のテスト環境を反映しています。リアルタイムアーキテクチャについて決定する前に、デプロイ先 GPU で実際の遅延を検証してください。
より良い結果のためのヒント
- 会話パイプラインにはストリーミングモードを使います。 LLM のテキスト出力が直接 TTS に渡る音声エージェントを構築している場合、エンドツーエンドの応答時間を低く保つのはストリーミングモードです。オフラインモードでは、CosyVoice2 がなくすために作られた発話全体の待ち時間が再び発生します。
- ストリーミングが低品質を意味すると考えないでください。 CosyVoice2 のチャンク認識型フローマッチングは、ストリーミング出力をオフライン品質に近づけるために設計されました。慎重さからオフラインをデフォルトにするのではなく、実際のコンテンツで両方のモードをテストしてください。
- 参照クリップを録り直す代わりに、トーンには指示制御を使います。 同じクローン音声で異なる感情表現が必要な場合、指示を変える方が、その感情を既に持つ新しい参照クリップを探すより速く反復できます。
- 特定ドメインの語彙で発音を検証します。 30〜50% のエラー削減は一般ベンチマークで測定されています。技術用語やドメイン固有の用語は、本番前に引き続き抜き取り確認する必要があります。
- 音声チャットを構築するなら高速な LLM と組み合わせます。 CosyVoice2 の低レイテンシはチャット形式のパイプライン向けですが、全体の応答時間は依然として上流 LLM がテキストを生成する速さに依存します。遅いテキスト生成器は高速な TTS 段階の利点を損ないます。
CosyVoice2 と CosyVoice（初代）の比較
| CosyVoice2 | CosyVoice（2024） | |
|---|---|---|
| パラメータ数 | 0.5B | 300M |
| ストリーミング | はい、オフラインモードと統合 | いいえ |
| 初回パケット遅延 | 約 150ms | この指標向けに最適化されていない |
| ゼロショットクローン + 指示スタイル | 1 つのモデルに統合 | 個別 checkpoint（base vs. Instruct） |
| 発音精度 | エラーが 30〜50% 少ない | ベースライン |
| MOS スコア | 5.53 | 5.4 |
| 学習手法 | RL ファインチューニング（話者類似度 + WER 報酬） | 教師あり学習 |
CosyVoice2 のアップグレード対象は明確です。プロジェクトにリアルタイムまたはほぼリアルタイムの生成、すなわち音声エージェント、ライブチャット、インタラクティブアプリケーションが必要なら、これがそのために作られたバージョンです。遅延の制約なしにオフラインで音声を生成するなら差は小さくなりますが、精度と品質の向上は依然として当てはまります。
よくある質問
CosyVoice と CosyVoice2 の主な違いは何ですか？
CosyVoice2 は、初回パケット遅延がおよそ 150ms のストリーミング合成を追加し、ゼロショットクローンと指示によるスタイル制御を単一モデルに統合し、元のモデルに比べて発音精度を 30〜50% 改善します。しかも、速度と引き換えにするのではなく品質も MOS 5.4 から 5.53 へ向上しています。
CosyVoice2 はリアルタイム音声チャットに十分な速さですか？
はい、それが主な設計目標です。150ms の初回パケット遅延は、音声チャットパイプラインで LLM と組み合わせても、特に TTS 段階による目立った遅延を導入しないのに十分な速さです。
CosyVoice2 はストリーミング速度のために音声品質を犠牲にしますか？
いいえ。チャンク認識型の因果フローマッチング設計は、ストリーミング出力をオフライン品質の生成に近づけるために特別に構築されており、公開された MOS スコアは非ストリーミングの初代モデルより実際に向上しています。
CosyVoice2 でもゼロショット音声クローンはできますか？
はい。しかも改善されています。クローンと指示ベースのスタイル制御（感情、アクセント、役柄スタイル）は、元の CosyVoice のように個別 checkpoint を必要とせず、1 つのモデルに統合されています。
CosyVoice2 はオープンソースですか？
はい。モデルの重みと推論コードは、同じ FunAudioLLM/CosyVoice GitHub リポジトリを通じて公開されており、Hugging Face と ModelScope でもホストされています。
類似した音声クローン機能を試す
CosyVoice2 は FunAudioLLM/CosyVoice のオープンソース実装と各モデル配布サイトから利用できます。ブラウザで音声クローンを試すなら、類似機能として音声クローンをお試しください。これは CosyVoice2 ではなく、CosyVoice2 モデルを実行していませんが、ローカルでモデルを設定せずに似た音声クローンの流れを試せます。
自分が所有している、または明示的な許可を得た音声のみをクローンしてください。