月之暗面发布“Kimi Linear”：革新混合线性注意力架构
发布时间：2025-10-31 17:44:41 | 责任编辑：张毅 | 浏览量：179 次
近日，月之暗面发布了一种全新的混合线性注意力架构，名为 “Kimi Linear”。这一架构据称在处理短距离、长距离信息以及强化学习（RL）等多种场景中，性能优于传统的全注意力方法。其核心技术 Kimi Delta Attention(KDA)是对 Gated DeltaNet 的一次优化，特别引入了一种更高效的门控机制，以更好地管理有限状态 RNN 的记忆使用。
Kimi Linear 的设计由三份 Kimi Delta Attention 和一份全局 MLA 组成。这种结构通过细粒度的门控来压缩有限状态 RNN 的记忆，使得模型在处理信息时更加高效。官方指出，在处理1M token 的数据场景中，Kimi Linear 的 KV cache 占用降低了75%，而解码吞吐量最高可提升6倍，TPOT 相较于传统 MLA 加速了6.3倍。
这种新的架构为各种 AI 应用场景提供了更强的支持，无论是在信息密集型的自然语言处理任务还是在动态环境中的强化学习，Kimi Linear 都有着显著的优势。随着 AI 技术的不断发展，这种高效的注意力机制可能会为未来的智能应用带来新的突破。
更多技术细节可以在 Kimi Linear 的技术报告中找到，https://github.com/MoonshotAI/Kimi-Linear/blob/master/tech_report.pdf。
划重点:
🌟 Kimi Linear 是一种新型的混合线性注意力架构，优化了信息处理性能。
🚀 该架构在1M token 场景下，KV cache 占用减少75%，解码吞吐量提升6倍。
🔍 Kimi Delta Attention 是其核心技术，通过细粒度门控优化了 RNN 的记忆管理。
本网站(https://aigc.izzi.cn)刊载的所有内容，包括文字、图片、音频、视频等均在网上搜集。
访问者可将本网站提供的内容或服务用于个人学习、研究或欣赏，以及其他非商业性或非盈利性用途，但同时应遵守著作权法及其他相关法律的规定，不得侵犯本网站及相关权利人的合法权利。除此以外，将本网站任何内容或服务用于其他用途时，须征得本网站及相关权利人的书面许可，并支付报酬。
本网站内容原作者如不愿意在本网站刊登内容，请及时通知本站，予以删除。
