E2 TTS：自らのシンプルさを見出しにしたモデル
テキストと録音を、聴ける作品に
ナレーション、ステム分離、カバー、効果音を、ブラウザだけで。
- テキスト読み上げも、ボイスクローンも
- ステムを分離、またはカバーを生成
- 登録して試聴。聴いてから決められる
TTSの研究論文の多くは、ベンチマークの数値から話を始めます。MicrosoftのE2 TTSが最初に掲げたのは、自らのアーキテクチャに対する「embarrassingly easy（恥ずかしいほど簡単）」という評価でした。これはマーケティング上の謙遜ではありません。実際のモデル名であり、テキスト読み上げのパイプラインをほとんど何も残らないほど削ぎ落としても、最先端の結果を出せるという主張そのものです。E2 TTSはF5-TTSの直接の研究上の前身でもあります。何を実現し、どこで限界に直面したのかを知れば、そもそもなぜF5-TTSが生まれたのかがわかります。
E2 TTSとは？
E2 TTS（Embarrassingly Easy TTSの略）は、Microsoft Researchが開発した完全な非自己回帰型のゼロショット・テキスト読み上げシステムです。主任研究者Sefik Emre Eskimezを含む13名の共著者による2024年の論文で発表されました。論文内のベンチマークに裏付けられた中心的な主張は、本当に最小限の、わずか2つのコンポーネントからなるアーキテクチャでも、自然さ、話者類似度、明瞭度において、はるかに複雑なTTSシステムに並ぶか、それを上回れるというものです。
その2つのコンポーネントとは、フローマッチングに基づくメルスペクトログラム生成器とボコーダーです。パイプラインはこれですべてです。各単語の長さを予測する持続時間モデルはありません。テキストを音素単位に変換する書記素・音素変換器もありません。テキストと音声を対応付けるための単調アライメント探索や、専用のクロスアテンション機構も使いません。テキストを文字列に変換し、対象音声の長さに合うようフィラートークンでパディングするだけで、タイミング、発音、アライメントといった残りのすべてを、音声補完タスクの学習を通じてモデルが習得します。
「Embarrassingly Easy」なパイプラインの実際の仕組み
ここでいう優雅さは、本当の意味で構造そのものにあります。背後にある複雑な仕組みを単純化して説明しているだけではありません。E2 TTSはU-Net形式のスキップ接続を備えた標準的なTransformerを使い、条件付きフローマッチングで学習します。これは、その後に登場した複数の拡散モデルに近いTTSで採用された技術と同じ広い系統に属します。推論時には、学習で得た分布からサンプリングしてメルフィルタバンク系列を生成します。テキストは明示的に時間方向へ整列されるのではなく、指定の長さまで単純にパディングされるため、出力の目標時間は個別の予測器に制約されず、任意に設定できます。
論文では、ベンチマーク性能だけでなく、実用性を目的とした2つのバリエーションも発表されました。
- E2 TTS X1は、参照音声プロンプトの文字起こしを必須としません。手元に文字起こしがない場合のクローン作成手順を簡略化します。
- E2 TTS X2は、特定の単語に明示的な発音指示を追加し、その読み方を修正または制御できるようにします。後のモデルが本格的な発音修正システムを構築したのも、同じ実用上の問題を解決するためです。
ベンチマーク結果
LibriSpeech-PCテストセットで、E2 TTSは単語誤り率1.9%を報告しました。論文の比較評価では、VALL-E、NaturalSpeech 3、Voiceboxなどの確立されたベースラインを上回っています。話者類似度と明瞭度も最先端、または従来の最も強力なゼロショットシステムに匹敵すると報告されました。競合システムが、E2 TTSにはまったく含まれない多数の仕組みを備えていたことを考えると、実に注目すべき結果です。
E2 TTSの弱点と、F5-TTSが修正したこと
その最小限のアーキテクチャとの引き換えに生じた問題は、ベンチマーク表ではなく、学習と導入の段階で現れました。E2 TTSの単純なフィラートークンによるパディング手法は学習の収束を遅らせ、テキストと生成音声のアライメントも常に安定していたわけではありません。単語が抜けたりフレーズが繰り返されたりすることが既知の失敗パターンでした。最良条件でのベンチマーク数値が優秀でも、このような問題があるモデルを本番環境へ安心して導入するのは困難です。
F5-TTSは、この問題を直接解決するために作られました。持続時間モデルを使わず、音素アライナーも使わず、フィラートークンでパディングするというE2 TTSの核心は維持しつつ、ConvNeXt V2によるテキスト表現のステップを追加して、アライメントの信頼性を大きく改善しています。さらに、再学習なしで速度と堅牢性の両方を高める推論時のSway Sampling戦略も追加されました。両モデルの関係は非常に近く、F5-TTSの公式リポジトリには、自モデルと並んで忠実に再現されたE2TTS_Baseチェックポイントが収録されています。研究者は論文をまたいだベンチマーク比較に頼らず、同じコードベース上で両方のアーキテクチャを直接比較できます。
E2 TTSを使い始める
Microsoftによる元のE2 TTS論文は研究発表であり、公式の公開モデルではなかったため、ダウンロードできるMicrosoft公式チェックポイントはありません。現在は、主に次のような方法で利用できます。
- F5-TTSリポジトリ内の再現版を使います。
git clone https://github.com/SWivid/F5-TTS.gitを実行し、F5チェックポイントの代わりに--model E2TTS_Baseを指定して推論します。自分で学習せずに、忠実な学習済み再現モデルの音声を試聴する最も簡単な方法です。 - 独立したPyTorch実装を使います。
pip install e2-tts-pytorchで、ゼロから作られたコミュニティ実装をインストールできます。事前学習済みチェックポイントで推論するだけでなく、アーキテクチャを直接研究または変更したい場合に役立ちます。 - 独立したPyTorch実装では、自分でウェイトを学習する前提で準備します。 F5-TTSリポジトリには、すぐに使える
E2TTS_Baseチェックポイントがありますが、独立したPyTorchパッケージは主に学習用のフレームワークです。コミュニティでは多言語（英語 + 中国語）学習の成功例が報告されていますが、完成したウェイトをダウンロードするのではなく、自分のデータセットと計算資源が必要です。 - 同じハードウェアでF5-TTSと直接比較します。 どちらのモデルも同じリポジトリにあり、推論パイプラインを共有しています。同じ参照クリップでE2TTS_BaseとF5チェックポイントを続けて実行するのが、F5-TTSによるアライメントと堅牢性の実際の改善を聞き比べる最も速い方法です。
E2 TTSを扱う際のヒント
- 本番利用を第一に考えた選択肢ではなく、研究と比較のベースラインとして扱います。 学習の収束とアライメントの堅牢性に既知の問題があるため、現在の多くのチームはE2 TTSを、このアーキテクチャ系統を理解するため、または比較用のベンチマークとして使用しています。実際の導入には、その後継で本番利用により適したF5-TTSが向いています。
- 参照音声の文字起こしがない場合は、X1の機能を利用します。 文字起こしを不要にするこの機能は、使いやすさを高めるために設計されました。文字起こしが常に必要だと決めつけず、使用する実装にその機能があるか確認してください。
- 既知の失敗パターンに注意します。 単語が抜けたり繰り返されたりすることは、このアーキテクチャで記録されている特性です。この問題が起きた場合は、設定ミスではなく既知の制限です。
- 実際に使用するチェックポイントのライセンスを確認します。 F5-TTSリポジトリ内の
E2TTS_Base再現版は、F5-TTS自体と同じEmiliaデータセットで学習されているため、同じCC-BY-NCの非商用ライセンスを引き継いでいます。
E2 TTSとF5-TTSの比較
| E2 TTS | F5-TTS | |
|---|---|---|
| アーキテクチャ | フラットなU-Net Transformer + フローマッチング | Diffusion Transformer（DiT）+ ConvNeXt V2 + フローマッチング |
| 持続時間モデル / アライナー | なし | なし |
| 学習の収束 | 遅い | より高速で安定 |
| アライメントの堅牢性 | 単語の抜けや繰り返しという既知の問題 | 大幅に改善 |
| 推論の最適化 | 標準 | Sway Sampling（速度 + 堅牢性） |
| 公式の公開チェックポイント | なし（研究論文のみ） | あり、GitHubとHugging Faceで公開 |
| 単語誤り率（LibriSpeech-PC） | 1.9% | 公開された比較では、より低い |
E2 TTSの本当の貢献は概念を証明したことです。本当に最小限で、アライナーを使わないパイプラインでも、最先端のゼロショット品質に到達できました。F5-TTSはその概念実証を、実際に本番環境で動かしたいと思えるものへと発展させました。
よくある質問
E2 TTSの「E2」は何を意味しますか？
「Embarrassingly Easy」を意味します。これは、得られる結果に比べてモデルのアーキテクチャがいかに最小限かを表したもので、より長い技術用語の略称ではありません。
E2 TTSを開発したのは誰ですか？
E2 TTSはMicrosoftの研究者が開発し、Sefik Emre Eskimezが主導し、ほかに12名の共著者が加わった2024年の論文で発表されました。
MicrosoftからE2 TTSの公式モデルウェイトをダウンロードできますか？
いいえ。Microsoftが当初公開したのは音声サンプル付きの研究論文であり、一般公開されたチェックポイントではありません。現在、実際に利用するには、F5-TTSのGitHubリポジトリにある忠実な再現版のE2TTS_Baseチェックポイントを使うか、独立したe2-tts-pytorch実装を自分で学習します。
E2 TTSとF5-TTSにはどのような関係がありますか？
F5-TTSは、持続時間モデルも音素アライナーも使わず、フィラートークンでパディングするというE2 TTSの中心的な手法を直接土台にしています。Diffusion Transformerのバックボーン、ConvNeXt V2のテキスト表現、Sway Samplingを使い、E2 TTSの学習収束の遅さとアライメントの堅牢性の問題を解決するために作られました。
E2 TTSは音声クローンに対応していますか？
はい。設計上ゼロショットTTSシステムであり、参照クリップから任意の話者の声を生成できます。X1バリエーションでは、参照音声の文字起こしを不要にしています。
Echoraでテキストを音声に変換
テキストから一人の話者による音声を作る同様のワークフローをブラウザで利用したい場合は、Echoraのテキスト読み上げを使えます。最大5,000文字を入力し、内蔵音声または保存したカスタム音声を選び、必要に応じて対応している話し方タグを追加して安定性を調整できます。生成結果はプレビューしてMP3でダウンロードできます。