Kimi K2 技术报告震撼面世！它如何在国际开源赛事中稳坐冠军宝座？
发布时间：2025-07-23 12:03:09 | 责任编辑：吴昊 | 浏览量：20 次
《Kimi K2 技术报告震撼面世！它如何在国际开源赛事中稳坐冠军宝座？》相关软件官网
Kimi AI智能助手近日，Kimi 团队正式发布了 Kimi K2的技术报告，揭示了这款全新模型背后的训练秘密。Kimi K2的参数总量达到1万亿，而激活参数则高达320亿，凭借其强大的能力，Kimi K2在刚上线一周内便在全球开源模型竞赛中斩获桂冠，超越了 DeepSeek，堪比 Grok4和 GPT4.5等顶尖闭源模型。
Kimi K2的成功，得益于其创新的训练方法和技术架构。首先，该团队引入了 MuonClip 优化器，替代了传统的 Adam 优化器。这种新的优化器结合了高效的 token 使用和稳定性，让 Kimi K2在预训练阶段无损失地处理了15.5万亿 token 的数据。此外，团队还开发了大规模的 Agentic Tool Use 数据合成 pipeline，覆盖多个领域和工具，为模型提供了丰富的训练场景。
值得注意的是，Kimi K2在训练中采用了 “重述法” 来提高数据效率。这种方法不是简单重复，而是用不同的方式重新表达知识内容，确保模型能够真正理解信息。尤其是在处理数学和知识类文本时，Kimi K2通过将复杂内容改写成易懂的学习笔记风格，进一步提升了训练效果。数据显示，用重写的数据训练一轮，其准确率超过了使用原始数据训练十轮的结果。
在后训练阶段，Kimi K2还进行了监督微调和强化学习，通过构建可验证的奖励环境和自我评估机制，确保模型在多样化任务中不断优化表现。训练过程中还引入了预算控制和温度衰减策略，以提高生成文本的质量和稳定性。
为了支持如此庞大的训练需求，Kimi K2依托于由 NVIDIA H800构成的大规模高带宽 GPU 集群，确保了训练效率和数据传输的高效性。
随着科技的不断进步，Kimi K2的发布无疑为开源模型的发展注入了新的活力，值得行业内外的关注。
Kimi K2 是月之暗面发布的最新万亿参数（1.04 T 总参数，32 B 激活参数）混合专家（MoE）架构大模型，采用 384 个专家、MuonClip 优化器（Muon 优化器 + QK-Clip 技术）及 15.5 万亿 token 预训练，实现了高效稳定的训练。后训练阶段通过大规模 Agentic Tool Use 数据合成和通用强化学习，让模型在代码、数学、工具使用等任务上取得显著成果：在 SWE-bench Verified 代码修复任务上达 65.8%~71.6%，LiveCodeBench v6 编程任务达 53.7%，AIME 2025 数学竞赛达 49.5%，τ²-Bench 工具使用达 66.1%，均显著超越开源模型，逼近甚至比肩 Claude-4、GPT-4.1 等闭源模型。
此外，Kimi K2 在 LMSYS Arena 中获得 3000+ 用户盲测投票，登顶全球开源模型榜首（总榜第五），并开源权重、数据管线及 RL 框架，推动开源社区发展。
本网站(https://aigc.izzi.cn)刊载的所有内容，包括文字、图片、音频、视频等均在网上搜集。
访问者可将本网站提供的内容或服务用于个人学习、研究或欣赏，以及其他非商业性或非盈利性用途，但同时应遵守著作权法及其他相关法律的规定，不得侵犯本网站及相关权利人的合法权利。除此以外，将本网站任何内容或服务用于其他用途时，须征得本网站及相关权利人的书面许可，并支付报酬。
本网站内容原作者如不愿意在本网站刊登内容，请及时通知本站，予以删除。
