进入AI时代的影视配音：通义实验室公开Fun-CineForge，首次攻克多人对话挑战
发布时间：2026-03-16 16:17:59 | 责任编辑：吴昊 | 浏览量：3 次
传统的 AI 配音在面对影视、动画等高标准场景时，常因难以匹配复杂的情绪爆发和精准口型而遭遇瓶颈。针对这一痛点，通义实验室正式发布并开源了首个影视级多场景配音多模态大模型——Fun-CineForge。
不同于仅依赖文字转语音的传统模型，Fun-CineForge 旨在攻克影视制作中的四大核心挑战:
口型同步: 实现合成语音与画面唇部运动的高度一致。
情绪表达: 结合面部形象与指令描述，赋予声音拟人化的情感深度。
音色一致性: 在复杂的多角色对话中保持特定人物的音色稳定。
时间对齐: 即使说话人被遮挡或不在画内，语音也能在毫秒级精确的时间点切入。
Fun-CineForge 的技术突破在于其独有的 “数据+模型”一体化设计:
CineDub 高质量数据集: 通义实验室配套开源了 CineDub 自动化数据集构建流程。该流程利用思维链纠错机制，将中英文文本转录错率降至 1% -2% 左右，说话人分离错误率大幅降至 1.2%。
四模态融合架构: 模型首次引入 “时间模态”，配合视觉（唇形表情）、文本（台词情感）和音频（音色参考）共同建模。这使得模型即便在“看不到”人脸的复杂场景下，也能依靠时间监督目标实现精准同步。
实验数据显示，Fun-CineForge 在词错率（WER/CER）、唇部同步度(LSE-C/D)及音色相似度上均显著优于 DeepDubber-V1等基线模型。尤其值得关注的是，该模型首次实现了对双人及多人对话场景的精准支持，在30秒以内的视频片段中表现出极强的鲁棒性。
GitHub:https://github.com/FunAudioLLM/FunCineForge
HuggingFace:https://huggingface.co/FunAudioLLM/Fun-CineForge
ModelScope:https://www.modelscope.cn/models/FunAudioLLM/Fun-CineForge/
这是一篇关于影视配音进入AI时代:通义实验室开源Fun-CineForge，首克多人对话难题的文章，内容值得关注。
本网站(https://aigc.izzi.cn)刊载的所有内容，包括文字、图片、音频、视频等均在网上搜集。
访问者可将本网站提供的内容或服务用于个人学习、研究或欣赏，以及其他非商业性或非盈利性用途，但同时应遵守著作权法及其他相关法律的规定，不得侵犯本网站及相关权利人的合法权利。除此以外，将本网站任何内容或服务用于其他用途时，须征得本网站及相关权利人的书面许可，并支付报酬。
本网站内容原作者如不愿意在本网站刊登内容，请及时通知本站，予以删除。
