支持连续推理的ThinkSound音频生成模型由阿里通义开放源代码提供
发布时间：2025-07-09 10:47:39 | 责任编辑：张毅 | 浏览量：8 次
近日，阿里语音AI团队宣布开源全球首个支持链式推理的音频生成模型ThinkSound，该模型通过引入思维链（Chain-of-Thought）技术，突破传统视频转音频技术对画面动态捕捉的局限，实现高保真、强同步的空间音频生成。这一突破标志着AI音频技术从“看图配音”向“结构化理解画面”的跨越式发展。
传统端到端视频转音频技术常因忽视画面细节与声音的时空关联，导致生成音频与视觉事件错位。ThinkSound首次将多模态大语言模型与统一音频生成架构结合，通过三阶段推理机制实现精准音频合成:系统首先解析画面整体运动与场景语义，生成结构化推理链;随后聚焦具体物体声源区域，结合语义描述细化声音特征;最终支持用户通过自然语言指令实时交互编辑，例如“在鸟鸣后添加树叶沙沙声”或“移除背景噪声”。
为支撑模型的结构化推理能力，研究团队构建了包含2531.8小时高质量样本的AudioCoT多模态数据集，整合VGGSound、AudioSet等来源的动物鸣叫、机械运转等真实场景音频。数据集通过多阶段自动化过滤与人工抽样校验确保质量，并特别设计对象级和指令级样本，使模型可处理“提取猫头鹰鸣叫时避免风声干扰”等复杂指令。
实验数据显示，ThinkSound在VGGSound测试集的核心指标上较主流方法提升超15%，在MovieGen Audio Bench测试集中表现大幅领先Meta同类模型。目前，该模型的代码与预训练权重已在GitHub、HuggingFace及魔搭社区开源，开发者可免费获取。
阿里语音AI团队透露，未来将重点提升模型对复杂声学环境的理解能力，并拓展至游戏开发、虚拟现实等沉浸式场景。这项技术不仅为影视音效制作、音频后期处理提供新工具，更可能重新定义人机交互中的声音体验边界。业内专家指出，ThinkSound的开源将加速音频生成领域的技术普惠，推动创作者经济向更智能的方向演进。
开源地址:
https://github.com/FunAudioLLM/ThinkSound
https://huggingface.co/spaces/FunAudioLLM/ThinkSound
https://www.modelscope.cn/studios/iic/ThinkSound
阿里通义实验室开源的音频生成模型ThinkSound是全球首个支持链式推理的音频生成模型。以下是关于该模型的详细介绍：
模型特点
-
引入思维链技术：ThinkSound首次将多模态大模型的思维链推理引入音频生成领域。它通过三阶段推理机制实现精准音频合成：首先解析画面整体运动与场景语义，生成结构化推理链；然后聚焦具体物体声源区域，结合语义描述细化声音特征；最后支持用户通过自然语言指令实时交互编辑。
-
高保真、强同步：该模型能够生成与画面同步的高保真音频，不仅仅是“看图配音”，而是真正“听懂画面”，解决了传统视频转音频技术中画面动态细节与事件逻辑理解不足的问题。
-
强大的交互编辑能力：用户可以通过自然语言指令对音频进行编辑，例如“在鸟鸣后添加树叶沙沙声”或“移除背景噪声”，模型会根据指令进行相应的音频生成或修改。
技术架构
ThinkSound由两个关键部分组成：
-
多模态大语言模型（MLLM）：负责“思考”与推理链构建，能够理解视频的整体场景与语义。
-
统一音频生成模型：负责最终的声音输出，基于条件流匹配技术实现高保真音频合成。
数据集
为支撑模型的结构化推理能力，阿里通义实验室构建了全球首个支持链式推理的多模态音频数据集AudioCoT。该数据集包含超过2531小时高质量样本，覆盖从动物鸣叫、机械运转到环境音效等多种真实场景。数据集通过多阶段自动化过滤与人工抽样校验确保质量，并特别设计了面向交互式编辑的对象级和指令级样本。
应用场景
ThinkSound在多项权威评测中表现超越现有主流方案，已成功应用于语音助手、虚拟人、内容创作等多个场景。未来，该模型还计划拓展在游戏、VR/AR等沉浸式场景中的应用。
开源信息
目前，ThinkSound的代码和模型已在GitHub、HuggingFace及魔搭社区开源，开发者可以免费下载和体验。
本网站(https://aigc.izzi.cn)刊载的所有内容，包括文字、图片、音频、视频等均在网上搜集。
访问者可将本网站提供的内容或服务用于个人学习、研究或欣赏，以及其他非商业性或非盈利性用途，但同时应遵守著作权法及其他相关法律的规定，不得侵犯本网站及相关权利人的合法权利。除此以外，将本网站任何内容或服务用于其他用途时，须征得本网站及相关权利人的书面许可，并支付报酬。
本网站内容原作者如不愿意在本网站刊登内容，请及时通知本站，予以删除。
