首页 > 快讯 > 微软开放VibeVoice TTS模型:支持90分钟长语音播放,适用于4人会话,中文表现令人惊叹!

微软开放VibeVoice TTS模型:支持90分钟长语音播放,适用于4人会话,中文表现令人惊叹!

发布时间:2025-08-26 15:02:16 | 责任编辑:吴昊 | 浏览量:12 次

近日,微软推出了一款备受瞩目的开源文本转语音(TTS)模型——VibeVoice,引发了AI语音技术领域的高度关注。这款模型以其强大的功能和卓越的性能,为长篇语音生成、多人对话以及中文语音合成树立了新的标杆。以下,小编将为您详细解析VibeVoice的亮点与潜力。
支持90分钟超长语音生成,突破时长限制
VibeVoice模型在语音生成时长上实现了重大突破,可一次性生成长达90分钟的连续语音。这一特性尤其适合需要长时间音频输出的场景,如播客、有声书和教育内容制作。相比传统TTS模型的时长限制,VibeVoice的超长生成能力为内容创作者提供了更大的灵活性和创作空间。
多人对话新高度,最多支持4人语音
与以往TTS模型仅支持单人或双人对话的局限不同,VibeVoice能够流畅生成最多4人的对谈语音。这一功能在模拟多人播客、会议录音或虚拟角色互动等场景中表现出色。得益于其在语音一致性和自然轮转上的优化,VibeVoice生成的多人对话语音自然流畅,几乎可媲美真人录音效果。
中文语音效果优异,助力本土化应用
对于中文市场,VibeVoice展现了令人印象深刻的表现。其支持中文语音合成,且在语调、发音准确性和自然度上均达到了高水平。这使得VibeVoice在中文播客、教育培训、智能客服等领域具有广泛的应用潜力,为开发者提供了高质量的本土化语音解决方案。
支持背景音乐,打造沉浸式播客体验
VibeVoice的另一大亮点是支持生成带背景音乐的播客音频。这一功能让内容创作者能够轻松为语音添加背景音效,打造更具沉浸感和专业性的音频内容。无论是轻松的背景旋律还是紧张的氛围音效,VibeVoice都能无缝融合,为听众带来更丰富的听觉体验。
开源赋能开发者,未来应用前景广阔
作为一款开源模型,VibeVoice已于2025年8月26日在GitHub正式发布,开发者可自由获取并进行二次开发。微软此次开源的举措,不仅降低了高质量TTS技术的使用门槛,也为全球AI开发者社区注入了新的活力。无论是个人创作者还是企业用户,都可以通过VibeVoice快速构建创新的语音应用。
地址:https://huggingface.co/microsoft/VibeVoice-1.5B

微软开放VibeVoice TTS模型:支持90分钟长语音播放,适用于4人会话,中文表现令人惊叹!
微软研究院今天(2025-08-26)正式开源了新一代文本转语音模型 VibeVoice-1.5B,它一次性可生成 长达90分钟 的连续语音,并支持 最多4名说话人 自然对话,中文等多语种效果惊艳

核心亮点

  • 超长语音合成:打破传统TTS只能合成60分钟以内语音的极限,VibeVoice可连续稳定输出90分钟,且不会出现30分钟后的音色漂移、语义断裂等问题

  • 多说话人对话:支持最多4名不同说话人(如2男2女)在同一音频中自然切换,远超以往开源模型仅支持1-2人的限制

  • 超高压缩率:对24kHz原始音频实现 3200倍累计压缩,压缩效率是主流Encodec模型的80倍,同时保持高保真音质

  • 中文效果惊艳:官方Demo展示了中英文混合播客、西游记中文故事、科技资讯等案例,语音自然流畅,情绪丰富,几乎难辨合成痕迹

技术突破

  • 首创双Tokenizer架构:声学Tokenizer负责保留声音特征并实现极致压缩,语义Tokenizer确保文本语义与语音语调高度对齐,解决传统模型音色与语义不匹配难题

  • 大语言模型驱动:基于预训练Qwen2.5大语言模型,采用“角色-语音-文本”交错输入格式,精准控制多说话人轮替与上下文理解

  • 课程学习训练:逐步将输入序列长度从4096提升到65536个token(对应90分钟音频),避免超长序列训练失败,训练效率提升50%

开源与体验

VibeVoice的出现,标志着语音合成技术在长对话、多角色、跨语言等复杂场景下迈出了里程碑式的一步,中文效果尤为惊艳!

©️版权声明:
本网站(https://aigc.izzi.cn)刊载的所有内容,包括文字、图片、音频、视频等均在网上搜集。
访问者可将本网站提供的内容或服务用于个人学习、研究或欣赏,以及其他非商业性或非盈利性用途,但同时应遵守著作权法及其他相关法律的规定,不得侵犯本网站及相关权利人的合法权利。除此以外,将本网站任何内容或服务用于其他用途时,须征得本网站及相关权利人的书面许可,并支付报酬。
本网站内容原作者如不愿意在本网站刊登内容,请及时通知本站,予以删除。

最新Ai信息

最新Ai工具

热门AI推荐