読了目安：7分
GPT-SoVITS：1分の音声でクローン、中国語に強い
GPT-SoVITS は、わずか1分の音声、または5秒のゼロショットで声をクローンでき、中国語と日本語に特に強く、WebUI ツール一式も備えています。
TTS音声クローン少数ショット微調整多言語 TTSGPT-SoVITS
続きを読むAI モデル
オープンソースや人気の AI 音声モデルを解説し、Echora で近い機能を試す方法もご紹介します。
7分で読めます
VALL-E 2：人間同等の性能を実現した Microsoft のゼロショット TTS モデル
VALL-E 2 は VALL-E に反復認識サンプリングとグループ化コードモデリングを追加し、ゼロショット音声クローンのベンチマークで人間同等の性能に達したと報告されています。
TTSVALL-E 2音声クローンニューラルコーデック言語モデルMicrosoft Research
続きを読む読了時間: 約7分
VALL-E X：Microsoft の言語横断音声クローンモデル
VALL-E X は Microsoft による VALL-E の言語横断拡張モデルです。ある言語の声をクローンして別の言語を流暢に話させ、アクセントも制御できます。
VALL-E X言語横断音声クローン多言語 TTSニューラル音声コーデック言語モデルアクセント制御
続きを読む読了目安：7分
VALL-E：Microsoft の TTS 向けニューラルコーデック言語モデル
VALL-E は、GPT がテキストを扱うように音声を離散トークンとして扱い、3秒の音声プロンプトから声をクローンする Microsoft のニューラルコーデック言語モデルです。
TTSニューラルコーデック言語モデルゼロショット音声クローンMicrosoft ResearchVALL-E
続きを読む約7分で読めます
StyleTTS 2：人間の録音を上回ると報告されたTTS
StyleTTS 2は参照音声なしで拡散により発話スタイルをサンプリングし、LJSpeechデータセットでは自然さが人間の録音を上回ったと報告されています。
TTSStyleTTS 2音声合成拡散モデルオープンソース
続きを読む読了目安 7 分
StyleTTS：スタイルベースの非自己回帰音声合成
StyleTTS は AdaIN と専用のスタイルエンコーダーで話し方と内容を分離し、非自己回帰 TTS の韻律や表現を制御可能にします。
StyleTTSスタイルベース TTS非自己回帰 TTS音声合成AdaIN
続きを読む7分で読めます
Bark TTS：笑い声やため息も生成するSunoの生成音声モデル
Barkは、簡単な角括弧タグで笑い声、ため息、音楽を加えられる、Sunoによるオープンソースの生成型テキスト音声モデルで、MITライセンスで公開されています。
TTS生成音声表現豊かな音声オープンソースBark
続きを読む読了目安：7分
Tortoise TTS：元祖となった高品質マルチボイスモデル
Tortoise TTS は Apache 2.0 のオープンソース・マルチボイスモデルです。自己回帰 Transformer と diffusion を組み合わせ、遅さと引き換えに卓越した音質を実現します。
TTSオープンソース TTS音声クローンマルチボイス TTSTortoise TTS
続きを読む読了目安：8分
XTTS-v2：Coqui の多言語ゼロショット音声クローン
XTTS-v2 は、わずか6秒のクリップから17言語に対応する Coqui のゼロショット音声クローンモデルです。Coqui が2024年に閉鎖した後も基準であり続けています。
TTSオープンソース TTSゼロショット音声クローン多言語 TTSXTTS-v2
続きを読む読了約 7 分
E2 TTS：F5-TTSの研究上の直接の前身となったフローマッチング方式のゼロショットモデル
E2 TTSは、Microsoftが開発した「Embarrassingly Easy（恥ずかしいほど簡単）」なゼロショットTTSです。フローマッチングを採用し、持続時間モデルもアライナーも必要とせず、F5-TTSの直接の研究上の前身に当たります。
TTSフローマッチングゼロショット TTS音声クローンE2 TTS
続きを読む読了目安：7分
F5-TTS：高速なDiffusion Transformer音声クローンモデル
F5-TTSは、flow matchingを用いた非自己回帰型のDiffusion Transformer TTSモデルです。わずか数秒で音声をクローンでき、リアルタイム係数（RTF）0.15で高速に推論します。
TTSDiffusion Transformer音声クローンflow matchingF5-TTS
続きを読む読了目安：7分
Fish Speech：ファインチューニング対応の表現力豊かなオープンソースTTS
Fish Speechは、ゼロショット音声クローンとLoRAファインチューニングに対応し、[whisper]や[angry]などの感情タグも内蔵する、Fish Audioの表現力豊かなオープンソースTTSです。
TTSオープンソースTTS音声クローンファインチューニングFish Speech
続きを読む