Voxtral TTS：クローズド API の音声市場に挑むオープンウェイトモデル
テキストと録音を、聴ける作品に
ナレーション、ステム分離、カバー、効果音を、ブラウザだけで。
- テキスト読み上げも、ボイスクローンも
- ステムを分離、またはカバーを生成
- 登録して試聴。聴いてから決められる
ElevenLabs をはじめ、商用音声 AI の主要企業はどこも、プロプライエタリで API を中心としたビジネスを展開しています。声を借りることはできても、その背後にあるモデルを所有することはできません。この分野に参入した Mistral AI は、その構図を正面から崩しました。Voxtral TTS は完全なオープンウェイトとして提供されるため、企業はモデルをダウンロードして自社インフラだけで実行し、音声フレームを一つも第三者に送らずに済みます。他社のクローズドモデルへのアクセスを借りるのとは、まったく異なる選択肢です。
Voxtral TTS とは？
Voxtral TTS は、Mistral AI が 2026 年 3 月 26 日に公開した 40 億パラメータのオープンウェイト・テキスト読み上げモデルです。mistralai/Voxtral-4B-TTS-2603 として配布され、BF16 ウェイトと、すぐに使える参照音声のセットが含まれています。これは Mistral のより広範な Voxtral ファミリーを完成させる音声生成部分です。このファミリーは 2025 年 7 月に、音声理解モデルのシリーズ（音声の文字起こし、音声からテキストへの翻訳、要約、質疑応答）として始まり、後に専用 ASR モデル Voxtral Transcribe 2 が追加されました。TTS が加わったことで、Voxtral は音声入力、言語理解、音声出力という一連の流れを、互いに無関係な個別リリースではなく、つながった一つのモデルファミリーとして網羅するようになりました。
Voxtral TTS の機能上の利点
- 真のオープンウェイトにより、同等の商用品質を持つ音声モデルの多くで必要となるクローズド API に依存せず、自社インフラでセルフホストできます。
- わずか 2～3 秒の参照音声からのゼロショット音声クローンに対応し、その短いサンプルだけで感情、話し方、アクセントを捉えます。
- 「Voice-as-instruction（声を指示として使う）」生成では、韻律や感情のタグを手作業で付けることなく、参照クリップのイントネーション、リズム、感情的な特徴を直接引き継ぎます。
- 9 言語に対応しており、英語、フランス語、ドイツ語、スペイン語、オランダ語、ポルトガル語、イタリア語、ヒンディー語、アラビア語をカバーします。言語をまたぐ音声クローンや、複数言語が混在するテキストにも対応します。
- 低遅延ストリーミングでは、モデル処理の遅延が約 90ms、リアルタイムファクターが約 9.7x です。生成後の音声を再生するのにかかる時間のほぼ 10 倍の速さで音声を合成できます。
- ElevenLabs と直接ベンチマークされており、Mistral 自身の評価では、ゼロショット音声クローンテストで ElevenLabs Flash v2.5 に対して 68.4% の選好勝率を記録し、話者類似度では ElevenLabs v3 と同等以上と報告されています。
「Voice-as-instruction」は実際にどう機能するのか
これは Voxtral TTS を最も特徴づける設計上の選択であり、表現力を重視する他のいくつかのモデルが採用する角括弧タグ方式とは、本質的に異なるアプローチです。Voxtral TTS は、因子分解表現によって、音声の意味内容（何を話しているか）と音響的な質感（どのように聞こえるか）を分離します。この分離により、参照音声の声色、トーン、ピッチを任意の生成テキストに適用しながら、そのテキストがどの言語でも、言語的に正しい韻律を独立して保てます。さらに、別のスタイルマーカーでテキストを注釈しなくても、参照音声プロンプトそのものに感情やスタイルの指示を担わせることができます。実際には、提供する参照クリップは単なる声色のサンプルではなく、モデルが直接従う演技指示として機能します。
より大きな音声スタックの一部
Voxtral TTS は単独で存在するものではありません。文字起こしと音声理解に重点を置いた初代の音声理解モデル Voxtral Mini や、バッチ処理とリアルタイムの自動音声認識を追加した Voxtral Transcribe 2 を含むファミリーの最新要素です。プロジェクトで TTS ではなく、逆方向（音声を入力し、テキストや理解結果を出力する処理）が必要なら、先に登場した Voxtral モデルが対象になります。Mistral が掲げる目標は、入力、理解、出力のために別々のベンダーをつなぎ合わせる必要がない、企業が所有できる完全な音声ワークフローです。
Voxtral TTS の始め方
- Hugging Face からモデルカードをダウンロードします。
mistralai/Voxtral-4B-TTS-2603には BF16 ウェイトと同梱の参照音声があり、あらゆるセルフホスト型デプロイの出発点になります。 - 本番品質のサービング用に vLLM と vLLM-Omni をインストールします。 Mistral は、このモデルをサポートするため vLLM-Omni チームと直接協力しました。
vllm >= 0.18.0とvllm-omni >= 0.18.0が必要で、uv pip install vllm-omni --upgradeでインストールできます。 - 手動の環境構築を省きたい場合は、すぐに使える Docker イメージを利用します。 Docker Hub にはビルド済みイメージが用意されており、より早くデプロイを起動できます。
- セルフホストが優先でなければ、ホスト型 API または Mistral Studio を使います。 Voxtral TTS は Mistral の API と Studio インターフェースからも直接利用でき、料金は 1,000 文字あたり $0.016 です。ローカルインフラに投資する前に品質を評価する、手軽な出発点になります。
- 商用利用の前に、同梱されている参照音声のライセンス条件を確認します。 参照音声は CC BY-NC 4.0 の下で配布され、モデル全体も同じライセンスを継承します。社内利用や評価ではなく、商用デプロイを予定している場合は、条件を慎重に確認してください。
より良い結果を得るためのヒント
- 参照クリップを単なる声色のサンプルではなく、演技指示として扱います。 モデルはプロンプトからイントネーションと感情的な特徴を直接読み取るため、望む話し方がすでに含まれている参照クリップのほうが、平坦で中立的なサンプルを使い、テキストだけで適切なトーンになることを期待するよりも、目標の出力に近づきます。
- 導入前に、実際に使う言語ペアで言語横断クローンをテストします。 この機能は実在し、文書にも記載されていますが、多くの言語横断システムと同様に、品質は元言語と対象言語の組み合わせによって変わります。プロジェクトで必要な組み合わせを正確に検証してください。
- 会話用途ではストリーミング経路を使います。 低遅延でリアルタイムファクターが高いため、バッチでのコンテンツ生成だけでなく、ライブ音声エージェントやリアルタイム翻訳に特に適しています。
- 商用製品を構築する場合は、CC BY-NC 4.0 の条件を注意深く読みます。 このモデルは企業向け音声ワークフロー用と位置づけられていますが、同梱の参照音声とモデルが継承するライセンスは非商用です。「オープンウェイト」が「制限のない商用利用」を意味すると決めつけず、具体的な用途で実際に何が必要かを確認してください。
- Mistral が公表した比較だけに頼らず、実際のコンテンツでベンチマークします。 ElevenLabs との比較を含むベンダー報告のベンチマークは有用な目安ですが、言語や指標によって変わります。最終的にモデルを選ぶ前に、自分のスクリプトでテストしてください。
Voxtral TTS、ElevenLabs、Chatterbox の比較
| Voxtral TTS | ElevenLabs | Chatterbox | |
|---|---|---|---|
| デプロイ | オープンウェイト、セルフホスト可能 | クローズド、API のみ | オープンウェイト、セルフホスト可能 |
| クローン用の参照クリップ | 2～3 秒 | 条件により異なる | 5～10 秒 |
| スタイル・感情制御 | 声を指示として使用（タグ不要） | 限定的なスタイル制御 | Exaggeration パラメータ |
| 言語 | 9 | 多言語（対応数はより多い） | 英語（Multilingual：23） |
| ライセンス | CC BY-NC 4.0（非商用） | プロプライエタリな商用 API | MIT |
Voxtral TTS 独自の位置づけは、真に企業品質で ElevenLabs と競争できる音声を、オープンウェイトでセルフホスト可能なパッケージとして提供することです。この組み合わせは今なお比較的珍しいものですが、非商用ライセンスであるため、「オープン」がそのまま「商用デプロイで無制限に使える」ことを意味するわけではありません。
よくある質問
Voxtral TTS は商用でも無料で使えますか？
確認なしには使えません。モデルと同梱の参照音声は、非商用ライセンスである CC BY-NC 4.0 の下で公開されています。企業ユースケース向けと位置づけられていても、商用デプロイでは、オープンウェイトだから無制限に使えると考えず、現在のライセンス条件を Mistral に直接確認する必要があります。
Voxtral TTS は ElevenLabs と比べてどうですか？
Mistral 自身が公開した評価では、Voxtral TTS はゼロショット音声クローンテストで ElevenLabs Flash v2.5 に対して 68.4% の選好勝率を達成し、話者類似度では ElevenLabs v3 と同等以上になりました。ただし、両システムの結果は言語や具体的な指標によって異なります。
Voxtral TTS と他の Voxtral モデルの違いは何ですか？
Voxtral TTS は音声生成に特化しています。Voxtral Mini と Voxtral Transcribe 2 は逆方向、つまり音声理解、文字起こし、翻訳を担い、同じ広範な Voxtral 音声モデルファミリーの残りの部分を構成します。
Voxtral TTS の音声クローンには、どのくらいの参照音声が必要ですか？
わずか 2～3 秒で、その短いサンプルから感情、話し方、アクセントを捉えます。
Voxtral TTS はどのくらい高速ですか？
モデル処理の遅延は約 90ms、リアルタイムファクターは約 9.7x で、ライブ音声エージェントやリアルタイム翻訳など、低遅延のストリーミング用途に適しています。
参照音声から似た声の音声を生成
参照音声と新しいテキストから似た声を生成する同様のワークフローには、Echoraの音声クローンを利用できます。自分の声、または使用について明示的な許可を得た参照音声をアップロードし、最大5,000文字の新しいテキストを入力すると、参照音声に似た新しい音声を生成できます。