VibeVoice：为整期播客而生，而不只是一句话
几乎所有 TTS 模型都以单次话语为处理范围——用这个声音生成这句话，然后停止。微软的开源语音框架 VibeVoice 则从完全不同的内容单位出发：一整期节目。它可以一次生成长达 90 分钟的连续多说话人对话音频，最多让四位不同说话人在整个过程中保持一致的身份和自然的轮流发言——这正是为一句话而建的模型与为一档播客而建的模型之间的区别。
什么是 VibeVoice？
VibeVoice 是微软推出的开源 MIT 许可框架，用于生成富有表现力的长篇多说话人对话音频——它明确面向播客、音频剧和访谈等场景。它提供两种规模：以 Qwen2.5-1.5B 语言模型为骨干的 VibeVoice-1.5B，以及以更大的 Qwen2.5-7B 为骨干、保真度更高但计算成本也相应更重的 VibeVoice-Large。两者均与项目的 GitHub 代码一同公开托管（microsoft/VibeVoice-1.5B 及 Large 版本）。
VibeVoice 的功能优势
- 连续生成 90 分钟。 一次生成最多可产出 90 分钟连贯音频，并始终维持说话人一致性和叙事连贯性——远远超出大多数 TTS 模型所针对的短片段范围。
- 自然支持最多四位不同的说话人。 多说话人对话是一项一等能力，而不是把多个单声线生成结果拼接起来的变通做法——在整个长篇会话中，轮流发言和说话人身份都能保持一致。
- 极其高效的音频压缩。 7.5Hz 的词元化速率在保留保真度的同时，将原始音频大约下采样 3,200 倍；正是这一点首先让 90 分钟音频的生成在计算上变得可行。
- 涌现出的跨语言迁移与演唱能力。 这两项能力都没有经过专门训练，却都以涌现行为的形式出现——模型可以把一种声音的口音带到其他语言中，甚至尝试演唱，不过二者的质量都会有所波动。
- 默认内置负责任 AI 防护措施。 每个输出都包含可听见的免责声明和不可感知的水印，而且是自动应用，并非需要主动开启的设置。
- 提供多种规模，包括量化版本。 除基础的 1.5B 和 Large 检查点外，社区制作的 4-bit 和 8-bit 量化版本显著降低了受限硬件的显存需求。
- 提供处理反向任务的配套模型。 VibeVoice-ASR 将同一模型家族扩展到语音转文本，因此该项目并不只限于生成。
底层原理
VibeVoice 的流程分为三个相互协作的部分。以极低的 7.5Hz 帧率运行的连续声学与语义词元化器，会把原始音频压缩为足够高效的表示，以便处理真正的长序列，而不会让计算成本爆炸。随后，预训练 Qwen2.5 语言模型（具体为 1.5B 或 7B，取决于使用哪个检查点）对对话本身进行建模，包括语义、流动方式和说话人轮次结构，从而决定应该说什么以及由谁来说。最后，轻量的四层扩散头与 VAE 解码器组合会在 LLM 已构建的结构之上补充高保真声学细节，并在推理时使用无分类器引导来控制输出对参考声音音色的贴合程度（通常建议将 cfg_scale 设在 1.3 左右）。
训练过程经过刻意的分阶段设计：词元化器本身会被冻结，实际训练的只有 LLM 和扩散头；课程学习从较短序列开始，再逐步扩展到 65,000 个词元——正是这一点让模型能够在真正漫长的生成过程中保持连贯，而不是中途发生漂移或失去说话人一致性。
VibeVoice-ASR：这个家族负责聆听的另一半
VibeVoice-ASR 于 2026 年 1 月发布，将同一模型家族扩展到相反方向——它是统一的语音转文本模型，而不是文本转语音模型。它可以一次处理长达 60 分钟的长篇音频，并生成结构化转录，记录谁在说话（通过说话人分离）、何时说话（通过精确时间戳）以及说了什么，同时支持用户自定义上下文和特定领域热词。此后，它已直接集成到 Hugging Face Transformers 库和微软 Azure AI Foundry Labs 中，无需专门的推理设置即可轻松采用。
专门针对边缘部署，VibeVoice-ASR-BitNet 通过异构量化（音频编码器使用 I8_S，语言模型使用 I2_S）将模型从 4.62GB 压缩到 1.58GB，并把 Qwen2.5-7B 骨干替换为更轻量的 Qwen2.5-1.5B，词错误率绝对值仅增加 1–4%。结合专用的 VibeASR.cpp 运行时——它基于 ggml 框架中的定制 SIMD 内核和算子融合构建——只需 3 个 CPU 线程、无需 GPU 即可实现实时转录（RTF 低于 1），并且在模型规模相当时比 Whisper.cpp 快 1.6 至 2.3 倍。
获得更好结果的技巧
- 按模型实际需要的格式编写脚本。 将输入整理为纯文本转录稿中带标签的轮次（
Speaker 1: ... Speaker 2: ...），而不是没有结构的段落——这样 VibeVoice 才能正确分配发言轮次，并保持各说话人的一致性。 - 先从 1.5B 模型开始，不要先入为主地认为自己需要 Large。 考虑到计算量和显存需求会显著增加，在投入 7B 检查点之前，先确认较小的模型是否已经足以处理你的内容。
- 硬件受限时使用预量化检查点，而不要即时量化。 预先量化的 4-bit 或 8-bit 模型加载更快，也能避免每次运行时即时量化所产生的开销。
- 不要依赖涌现出的演唱或跨语言输出制作生产内容。 这两项能力都没有经过专门训练或优化，因此应把成功的结果视为额外收获，而不是可靠功能；如果你特别想获得其中某种效果，还要为反复采样留出余量。
- 根据使用场景考虑可听见的免责声明和水印。 由于二者都会自动嵌入每个输出，因此在任何关于 AI 生成音频披露的产品文档中都要将其纳入考虑。
VibeVoice 与其他多说话人和长篇模型的对比
| VibeVoice | CosyVoice3 | 典型单说话人 TTS | |
|---|---|---|---|
| 每次会话最多说话人数 | 4 | 每个片段零样本生成，不以会话为单位 | 1 |
| 最长连续时长 | 约 90 分钟 | 并非专门关注点 | 短片段 |
| 核心架构 | Qwen2.5 LLM + 扩散头 + 7.5Hz 词元化器 | 监督式语义词元 + 流匹配 | 各不相同 |
| 配套 ASR 模型 | 有（VibeVoice-ASR） | 无 | 无 |
| 是否提供量化版本 | 有（社区 4-bit/8-bit + 官方 ASR BitNet） | 无 | 各不相同 |
| 许可证 | MIT | 开放，提供托管 API | 各不相同 |
VibeVoice 的特定定位在于输出规模，而不是单句表现力——如果你的项目只是生成一句台词，本站大多数其他模型都能很好地满足需求；如果你要生成一整期由多位主持人参与的播客，VibeVoice 正是为这种内容单位而构建的。
常见问题
VibeVoice-1.5B 与 VibeVoice-Large 有什么区别？
1.5B 以 Qwen2.5-1.5B 为骨干，是更轻、更快的选择；Large 使用 Qwen2.5-7B 骨干，能够获得更高保真度，但计算和显存成本也更高。
VibeVoice 实际能生成多长的音频片段？
一次最多可生成 90 分钟连续、连贯的音频，同时全程保持说话人身份一致。
VibeVoice-ASR 是什么？它与 VibeVoice TTS 是同一个模型吗？
不是——VibeVoice-ASR 是同一家族中独立的配套模型，处理的是语音转文本而不是文本转语音；它可以处理最长 60 分钟的音频，并提供说话人分离和时间戳。
我能在消费级 GPU 上运行 VibeVoice-Large 吗？
通过量化可以——预量化的 4-bit 检查点可将显存需求降至约 10GB，不过与全精度相比，生成速度会付出一些代价。
VibeVoice 可以免费用于商业用途吗？
可以。它采用 MIT 许可证发布，这是开源 TTS 模型中限制较少的许可证之一。
把多角色脚本转换为对话音频
如果你已经写好多角色脚本，可以使用 Echora 的文本转对话。最多添加 12 个对话区块、总计 5,000 个字符，为每个区块选择音色，按需添加支持的表达标签，并调整稳定度或说话人增强，然后试听并下载完整对话。