EchoraEchora
モデル一覧に戻る

Step-Audio：3つのモデル間の受け渡しを、1つのモデルに

2026年9月6日
•
7分で読めます

テキストと録音を、聴ける作品に

ナレーション、ステム分離、カバー、効果音を、ブラウザだけで。

  • テキスト読み上げも、ボイスクローンも
  • ステムを分離、またはカバーを生成
  • 登録して試聴。聴いてから決められる
無料で作り始める

ほとんどの音声アシスタントは、実際には1つのインターフェースをまとった3つの別々のシステムです。音声認識モデルが発言を書き起こし、言語モデルが返答内容を考え、別のTTSモデルがその返答を音声に変換します。この3つのシステム間で受け渡すたびに、遅延が増え、情報が失われます。StepFunが公開したStep-Audioは、このチェーン全体を1つの統合モデルにまとめ、認識、理解、生成を一体で処理するために構築されました。開発元は、この方式で構築された業界初のプロダクションレベルのオープンソース・リアルタイム音声インタラクションシステムだと説明しています。

Step-Audioとは？

Step-Audioは、StepFunが2025年2月に公開したオープンソースの音声インタラクションシステムです。その設計は、音声理解と音声生成を別々のモデルで解く別々の問題にすべきではない、という1つの中心的な考えに基づいています。単一のシステムで自動音声認識、意味理解、対話管理、音声クローン、音声生成を一体的に処理し、従来のカスケード型ASR＋TTSアーキテクチャでコンポーネント間の受け渡しごとに生じる遅延のボトルネックを解消することを明確な目的としています。

内部の仕組み：4つのコンポーネント

デュアルコードブック・トークン化フレームワーク。 従来の音声トークナイザーは、理解タスクか生成タスクのどちらかに適した情報を捉えるのが一般的で、両方をうまく扱えるものはほとんどありません。Step-Audioは代わりに、言語トークナイザー（16.7Hz、1024エントリのコードブック）と意味トークナイザー（25Hz、4096エントリのコードブック）という2つのトークナイザーを並列で用い、2:3の時間インターリーブで組み合わせます。この二重構造によってこそ、理解用と生成用に別々のパイプラインを用意せず、単一の後段モデルが同じトークン化表現から理解と生成の両方を処理できます。

1300億パラメータのLLM基盤。 StepFun独自のStep-1言語モデルを基に構築され、音声コンテキストを取り入れた継続事前学習とタスク別の事後学習によってさらに強化されています。このコンポーネントがStep-Audioに真のクロスモーダル理解をもたらします。音声をテキスト専用モデルに後付けされた別のモダリティとして扱うのではなく、強力な言語モデルがテキストについて推論するのと同じように音声内容を推論します。

ハイブリッド音声合成器。 フローマッチングとニューラルボコーディングを組み合わせ、リアルタイムの波形生成に特化して最適化されたコンポーネントです。パイプラインの中で、モデルの内部表現を実際に聞こえる音声へ戻す部分に当たります。

音声区間検出モジュール。 音声ストリームから発話区間を抽出し、誰かが実際に話しているタイミングを判断するという実用上のフロントエンド処理を担います。完成した音声クリップをバッチ処理するのではなく、真のリアルタイム・ストリーミング対話を実現するうえで重要です。

統合が本当に重要な理由

「統合モデル」を本物のアーキテクチャ上の違いではなく、マーケティング表現だと受け取りやすいため、ここは率直に説明する価値があります。ASR、LLM、TTSがそれぞれ独立したカスケード型パイプラインでは、3つのモデル境界を順に通過しなければならず、そのたびに情報が失われます。ASRの書き起こしはLLMが内容を見る前に声の調子や強調を取り除き、LLMのテキスト応答はTTSが受け取る前に、どのように話すべきかという感覚を取り除きます。Step-Audioのデュアルコードブック方式は、より豊かな情報を1回の処理でパイプライン全体に運ぶよう特別に設計されています。3つのシステムをつなぎ合わせたパイプラインでは構造上これほどきれいに保持できない方言や感情のニュアンスを伴って応答できるのは、この設計も理由の1つです。

きめ細かな音声制御

Step-Audioは、生成音声の実際の聞こえ方を指示によって精密に制御できます。複数の感情（怒り、喜び、悲しみ）、地域方言（広東語、四川語など）、さらにラップ調やアカペラのハミングを含む個別の発声スタイルに対応します。この制御は後付けのスタイルパラメータではなく、同じ統合アーキテクチャを通じて機能し、中国語、英語、日本語での多言語対話にも対応しています。

カスケード型システムに対する測定済みの改善

Step-Audioのデュアルコードブック・アライメントは、チーム自身の評価で測定可能な成果を上げました。CosyVoiceと比べて話者類似度（SS）が12%向上しており、チームはこの改善をモデルの規模だけでなく、言語トークナイザーと意味トークナイザーの連携方法に明確に帰属させています。

音声を超えたエージェント機能

Step-Audioは小規模な音響モデルではなく、本格的な1300億パラメータのLLM基盤上に構築されているため、純粋な音声生成を超えて、より広いエージェント動作にまで及びます。複雑なタスクを実行するためのツール呼び出し機構と強化されたロールプレイ能力を備え、単体のTTSエンジンというより、完全な音声エージェント・フレームワークに近い位置づけです。

Step-Audioを使い始める

  1. リポジトリをクローンします。 コード、ドキュメント、モデルへのアクセス手順を入手するため、GitHubからstepfun-ai/Step-Audioプロジェクトをgit cloneします。
  2. 非常に大規模なハードウェアを用意します。 システムの基盤に1300億パラメータのLLMがあるため、小規模な専用TTSモデルを大きく上回るリソース要件を見込んでください。これは軽量なローカル導入ではなく、プロダクション規模のシステムです。
  3. 完全な統合システムが必要か、生成だけでよいかを判断します。 理解や対話管理のコンポーネントを使わず、用途が純粋なテキスト読み上げだけなら、狭いタスクのためにStep-Audioの全アーキテクチャを導入するより、専用TTSモデルのほうがシンプルではないか検討してください。
  4. 感情、方言、スタイルには指示ベースの制御を使います。 Step-Audioのきめ細かな制御システムは、参照音声だけに頼るのではなく、話し方の特徴を明示的に指示するよう設計されています。
  5. 単なる音声インターフェースではなくエージェントを構築するなら、ToolCall統合を試します。 Step-AudioのLLM基盤はツール呼び出しとロールプレイに対応しているため、単純に差し替え可能なTTSとして扱うのではなく、本当にエージェント性のある音声アプリケーションで評価する価値があります。

より良い結果を得るためのヒント

  • モデルを実際のプロジェクト範囲に合わせます。 Step-Audioの統合アーキテクチャは、完全な音声インタラクションシステムを構築するうえで本物の利点です。テキスト読み上げ生成だけが必要なら、小規模な専用モデルのほうが導入と実行に現実的でしょう。
  • 推測に任せず、方言と感情を明示的に指示します。 これらは指示ベースの制御システムを通じて指定するため、望む方言や感情の調子を具体的に伝えたほうが、曖昧または暗示的な指示より安定した結果を得られます。
  • エンドツーエンド遅延を最優先するなら、Step-Audio 2を検討します。 StepFunの後続研究では、従来のパイプライン構造をさらに取り除き、音声推論能力を追加して、真のエンドツーエンド処理へ一段と近づいています。プロジェクト要件が初代Step-Audioの対応範囲を超えた場合は確認する価値があります。
  • 用途が単純なTTSを超えるなら、エージェント機能を評価します。 ToolCallとロールプレイに対応しているため、Step-Audioはナレーション生成だけでなく、複雑な複数ステップのタスクを扱う音声駆動エージェントで特に検討する価値があります。

Step-Audioとカスケード型／生成専用システムの比較

Step-Audio従来のカスケード型パイプラインCosyVoice3（生成専用）
中心的な範囲理解＋生成を統合個別のASR＋LLM＋TTSモデル音声生成のみ
遅延低減、単一パスのアーキテクチャ高い、3システムを直列に処理生成に特化して最適化
方言／感情の制御対応、指示ベース使用するTTSコンポーネントによる対応、方言を重視
エージェント機能（ツール呼び出し、ロールプレイ）対応別途オーケストレーションが必要該当なし
モデル規模1300億パラメータのLLM基盤さまざま、各コンポーネントは小規模なことが多い5億

Step-Audioの本当の違いは生成品質だけでなく、アーキテクチャの対象範囲にあります。大部分が音声生成専用に設計されたモデルであるのに対して、Step-Audioは統合音声インタラクションという、より広い問題を解決しています。

よくある質問

Step-Audioは一般的なTTSモデルと何が違いますか？

ほとんどのTTSモデルは音声生成だけを処理します。Step-Audioは音声認識、意味理解、対話管理、生成を単一モデルに統合し、個別のASR、LLM、TTSシステム間で受け渡す際に生じる遅延と情報損失をなくすことを明確な目的としています。

Step-Audioを開発したのは誰ですか？

Step-Audioは中国のAI企業StepFunが開発し、2025年2月にオープンソースとして公開しました。

Step-Audioのデュアルコードブック・トークナイザーはどのように機能しますか？

異なるフレームレートで動作する言語トークナイザーと意味トークナイザーという2つの並列トークナイザーを、2:3の比率でインターリーブして組み合わせます。単一の後段モデルが同じトークン化音声表現から理解と生成の両方を処理できるよう特別に設計されています。

Step-Audioは方言と感情に対応していますか？

はい。指示ベースの制御を通じて、複数の感情（怒り、喜び、悲しみ）、地域方言（広東語、四川語など）、さらにラップやアカペラのハミングを含む発声スタイルに対応します。

Step-Audioに新しいバージョンはありますか？

はい。StepFunは後継版としてStep-Audio 2を公開しており、真のエンドツーエンド処理をさらに推し進めて音声推論能力を追加しています。その後も同じ系統の研究成果が公開されています。

Echoraでテキストを音声に変換

テキストから一人の話者による音声を作る同様のワークフローをブラウザで利用したい場合は、Echoraのテキスト読み上げを使えます。最大5,000文字を入力し、内蔵音声または保存したカスタム音声を選び、必要に応じて対応している話し方タグを追加して安定性を調整できます。生成結果はプレビューしてMP3でダウンロードできます。

テキストから音声を生成 →