月之暗面推出Kimi Linear架构：KV缓存锐减75%，推理提速6倍，注意力机制实现重大突破！
发布时间：2025-10-31 14:15:37 | 责任编辑：张毅 | 浏览量：8 次
近日，月之暗面发布了一个颇具革命性的技术 ——“Kimi Linear” 混合线性注意力架构。该架构被认为在短距离、长距离处理以及强化学习（RL）等多个场景中，优于传统的全注意力方法。其核心创新在于 “Kimi Delta Attention”(KDA)，这是对 Gated DeltaNet 的优化升级，引入了更高效的门控机制，以提升有限状态 RNN(递归神经网络)记忆的使用效率。
Kimi Linear 的架构设计独特，由三份 Kimi Delta Attention 和一份全局 MLA（多层感知机）组成。通过对 Gated DeltaNet 的改良，KDA 能通过细粒度的门控机制，显著压缩有限状态 RNN 的记忆使用。这一设计不仅提高了模型处理信息的速度，还有效减少了内存占用，具有更强的实用性。
官方数据显示，在处理1M token 的场景下，Kimi Linear 的 KV cache 占用量减少了75%，解码吞吐量最高提升了6倍。而在 TPOT（训练速度）的提升上，相较于传统 MLA，Kimi Linear 实现了6.3倍的加速。这些显著的性能提升，预示着 Kimi Linear 在各类 AI 任务中的广泛适用性，尤其是在对速度和内存要求极高的应用场景。
随着人工智能的迅速发展，提升模型的处理能力与效率成为了行业内的关键挑战。月之暗面的 Kimi Linear 架构通过其创新设计，为这一领域带来了新的解决方案，未来可能会成为新的行业标杆。
Kimi Linear 技术报告的详细信息，可以通过官方的 GitHub 页面获取，感兴趣的读者可以深入了解其技术细节。
技术报告:https://github.com/MoonshotAI/Kimi-Linear/blob/master/tech_report.pdf
这是一篇关于月之暗面发布Kimi Linear架构：KV缓存减少75%，推理速度提升6倍，Attention机制迎来颠覆性革新！的文章，内容值得关注。
本网站(https://aigc.izzi.cn)刊载的所有内容，包括文字、图片、音频、视频等均在网上搜集。
访问者可将本网站提供的内容或服务用于个人学习、研究或欣赏，以及其他非商业性或非盈利性用途，但同时应遵守著作权法及其他相关法律的规定，不得侵犯本网站及相关权利人的合法权利。除此以外，将本网站任何内容或服务用于其他用途时，须征得本网站及相关权利人的书面许可，并支付报酬。
本网站内容原作者如不愿意在本网站刊登内容，请及时通知本站，予以删除。
