阶跃崭新推出端到端语音大模型Step-Audio 2 mini版
发布时间：2025-09-01 12:30:01 | 责任编辑：张毅 | 浏览量：53 次
9月1日，阶跃星辰正式发布最强开源端到端语音大模型Step-Audio2mini。该模型在多个国际基准测试集上取得了SOTA（State-of-the-Art）成绩，将语音理解、音频推理与生成统一建模，在音频理解、语音识别、跨语种翻译、情感与副语言解析、语音对话等任务中表现突出，并率先支持语音原生的Tool Calling能力，可实现联网搜索等操作。Step-Audio2mini被形容为“听得清楚、想得明白、说得自然”，其模型现已上线GitHub、Hugging Face等平台，供用户下载、试用并反馈。
Step-Audio2mini在多个关键基准测试中取得SOTA成绩，在音频理解、语音识别、翻译和对话场景中表现卓越，综合性能超越Qwen-Omni、Kimi-Audio等所有开源端到端语音模型，并在大部分任务上超越GPT-4o Audio。在通用多模态音频理解测试集MMAU上，Step-Audio2mini以73.2的得分位列开源端到端语音模型榜首;在衡量口语对话能力的URO Bench上，Step-Audio2mini在基础与专业赛道均拿下开源端到端语音模型最高分;在中英互译任务上，Step-Audio2mini在CoVoST2和CVSS评测集上分别取得39.3和29.1的分数，大幅领先GPT-4o Audio和其他开源语音模型;在语音识别任务上，Step-Audio2mini取得多语言和多方言第一，其中开源中文测试集平均CER（字错误率）3.19，开源英语测试集平均WER(词错误率)3.50，领先其他开源模型15%以上。
Step-Audio2mini通过创新架构设计，有效解决了此前语音模型存在的问题，做到“走脑又走心”。它采用真端到端多模态架构，突破传统ASR+LLM+TTS三级结构，实现原始音频输入到语音响应输出的直接转换，架构更简洁、时延更低，并能有效理解副语言信息与非人声信号。此外，Step-Audio2mini在端到端语音模型中首次引入链式思维推理（CoT）与强化学习联合优化，能对情绪、语调、音乐等副语言和非语音信号进行精细理解、推理并自然回应。模型还支持包括web检索等外部工具，有助于解决幻觉问题，并赋予模型在多场景扩展上的能力。
Step-Audio2mini的能力在案例中得到了生动展示。它能精准识别大自然的声音、精湛的配音，还能实时搜索获得行业最新资讯。此外，Step-Audio2mini还能控制语速，轻松应对不同场景的对话需求。当被问及哲学难题时，Step-Audio2mini能将抽象问题转化为极简方法论，展现强大的逻辑推理能力。
GitHub:https://github.com/stepfun-ai/Step-Audio2
Hugging Face:https://huggingface.co/stepfun-ai/Step-Audio-2-mini
ModelScope:https://www.modelscope.cn/models/stepfun-ai/Step-Audio-2-mini
。
。
Step-Audio 2 mini 的核心亮点包括：
-
端到端架构：突破了传统的 ASR + LLM + TTS 三段式结构，实现从原始音频输入到语音响应的直接转换，架构更简洁、时延更低
。
-
强大的语音理解与生成能力：在音频理解、语音识别、跨语种翻译、情感与副语言解析、语音对话等任务中表现突出
。
-
链式思维推理（CoT）与强化学习：首次在端到端语音模型中引入链式思维推理与强化学习联合优化，能够精细理解并自然回应情绪、语调、音乐等副语言和非语音信号
。
-
原生工具调用能力：支持语音原生的工具调用（如联网搜索），可实时获取外部信息，解决幻觉问题，拓展应用场景
。
。
本网站(https://aigc.izzi.cn)刊载的所有内容，包括文字、图片、音频、视频等均在网上搜集。
访问者可将本网站提供的内容或服务用于个人学习、研究或欣赏，以及其他非商业性或非盈利性用途，但同时应遵守著作权法及其他相关法律的规定，不得侵犯本网站及相关权利人的合法权利。除此以外，将本网站任何内容或服务用于其他用途时，须征得本网站及相关权利人的书面许可，并支付报酬。
本网站内容原作者如不愿意在本网站刊登内容，请及时通知本站，予以删除。
