阿里巴巴推出全新Qwen3-Next-80B-A3B开源模型,全面提升性能与效率!
发布时间:2025-09-12 08:53:04 | 责任编辑:张毅 | 浏览量:16 次
阿里巴巴近日开源了其最新架构模型 Qwen3-Next-80B-A3B,标志着公司在人工智能生成内容(AIGC)方面的重要进展。该模型在混合注意力机制、高稀疏性专家模型(MoE)和训练方法上进行了创新,展示出显著的性能提升。
Qwen3-Next 的总参数达到800亿,但在推理过程中仅激活30亿参数,使得训练成本相较于其前代产品 Qwen3-32B 大幅下降了90%。此外,其推理效率提升了10倍,特别是在处理超长文本(32K 以上)时的表现更加突出。这使得 Qwen3-Next 在执行指令和处理长上下文任务时,能够与阿里旗舰模型 Qwen3-235B 相媲美,甚至超越了谷歌最新的 Gemini-2.5-Flash 思考模型。
该模型的核心创新在于混合专家架构,采用门控 DeltaNet 和门控注意力的结合。通过这种设计,Qwen3-Next 克服了传统注意力机制在处理长上下文时的不足,既保证了速度,又提升了上下文学习能力。模型在训练过程中采用了高稀疏性 MoE 结构,能够在不影响性能的前提下最大化资源利用。
此外,Qwen3-Next 还引入了多 token 预测机制,提升了模型在投机解码中的表现。预训练阶段,Qwen3-Next 的效率相较于 Qwen3-32B 显著提高,训练成本仅为其9.3%,但性能却更优。在推理速度方面,Qwen3-Next 在处理长文本时,吞吐量相比 Qwen3-32B 提升了7倍,甚至在更长的上下文中仍保持了10倍的速度优势。
阿里的这一新模型不仅在技术上取得了突破,也获得了广泛的关注和好评,尤其是在开发者和研究人员中。无论是在技术创新还是市场竞争力方面,Qwen3-Next 都标志着阿里巴巴在人工智能领域的进一步领先。
在线体验:https://chat.qwen.ai/
开源地址:https://huggingface.co/collections/Qwen/qwen3-next-68c25fd6838e585db8eeea9d
划重点:
🌟 Qwen3-Next-80B-A3B 模型总参数800亿,训练成本下降90%,推理效率提升10倍。
🔍 新模型采用混合专家架构与多 token 预测机制,显著增强上下文处理能力。
🚀 在推理速度上,Qwen3-Next 在超长文本场景中表现出色,吞吐量相比前代模型提高了7到10倍。
本网站(https://aigc.izzi.cn)刊载的所有内容,包括文字、图片、音频、视频等均在网上搜集。
访问者可将本网站提供的内容或服务用于个人学习、研究或欣赏,以及其他非商业性或非盈利性用途,但同时应遵守著作权法及其他相关法律的规定,不得侵犯本网站及相关权利人的合法权利。除此以外,将本网站任何内容或服务用于其他用途时,须征得本网站及相关权利人的书面许可,并支付报酬。
本网站内容原作者如不愿意在本网站刊登内容,请及时通知本站,予以删除。