微软最近发布了 VibeVoice-Realtime-0.5B，这是一款针对实时文本转语音（TTS）的轻量级模型。该模型支持流式文本输入和长篇语音输出，特别适合用于代理式应用和实时数据讲述。VibeVoice-Realtime 可以在约300毫秒内开始输出可听语音，这在语言模型还在生成回答时尤为重要。
图源备注：图片由AI生成，图片授权服务商Midjourney
VibeVoice 框架致力于通过连续语音标记实现下一个标记的扩散，涵盖了多种变体以适应长篇多语者音频的需求，如播客。研究团队表示，主版本的 VibeVoice 模型能够合成长达90分钟的语音，支持多达4名说话者在64k 的上下文窗口中生成声音。
VibeVoice-Realtime 使用一种交错窗口设计，输入的文本被拆分成小块。模型在编码新文本块的同时，还能继续从先前的上下文中生成声学特征。这样，文本编码与声学解码之间的重叠使得该系统能在合适的硬件上达到约300毫秒的首音延迟。
与长篇 VibeVoice 变体不同，实时模型只使用声学标记器，且以7.5赫兹的速度运行。声学标记器基于 LatentLM 的 σ VAE 变体，采用对称的编码器 - 解码器架构，能够对24kHz 音频进行3200倍的下采样。
该模型的训练分为两个阶段，首先对声学标记器进行预训练，随后冻结标记器并训练大语言模型（LLM）及扩散头。VibeVoice-Realtime 在 LibriSpeech 测试集上取得了零样本性能，字错误率(WER)为2.00%，说话者相似度为0.695，表现与其他近期的 TTS 系统相当。
推荐的集成模式是将 VibeVoice-Realtime-0.5B 与对话 LLM 一起运行，LLM 在生成过程中流式传输标记。该 TTS 过程具有固定的8k 上下文和约10分钟的音频预算，适合于典型的代理对话、支持呼叫和监控仪表板。
huggingface：https://huggingface.co/microsoft/VibeVoice-Realtime-0.5B
划重点:
🌟 VibeVoice-Realtime-0.5B 支持流式文本输入，可在300毫秒内开始输出语音，适合实时交互应用。
🛠️ 该模型使用低延迟的声学标记器，以7.5赫兹的速度生成声学特征，优化长篇语音合成。
📈 在 LibriSpeech 测试中，VibeVoice-Realtime 的字错误率为2.00%，表现优越，适合多种应用场景。
