首页 > 快讯 > 快手推出KAT-V1开源大模型:自动推理能力大幅增强,40B版本的效能逼近R1-0528 40B版的水准

快手推出KAT-V1开源大模型:自动推理能力大幅增强,40B版本的效能逼近R1-0528 40B版的水准

发布时间:2025-07-25 11:43:24 | 责任编辑:张毅 | 浏览量:21 次

快手公司正式发布并开源了 KAT-V1自动思考(AutoThink)大模型。这款模型在思考和非思考能力的融合方面表现卓越,能够根据问题的复杂度自动调整其思考模式。
KAT-V1共有两个版本,分别为40B 和200B,表现出色的40B 版本在自动思考模式下的性能接近于最新发布的 DeepSeek-R1(参数量为6850亿)。而200B 版本则在多项基准测试中超越了 Qwen、DeepSeek 和 Llama 系列的旗舰模型。
显著的性能优势
在实时基准测试 LiveCodeBench Pro 中,KAT-V1的40B 版本成功跻身闭源模型行列,超越了众多开源模型。
快手的 Kwaipilot 团队在技术报告中详细阐述了 KAT-V1背后的多项技术创新,包括一种全新的长短思考混合模型训练范式,以及一种新型强化学习算法 Step-SRPO,显著提升了模型的推理能力和思考密度。
解决过度思考的问题
自 OpenAI 推出 o 系列模型以来,推理模型的思考方式逐渐演变为 “过度思考”,导致响应时间延长,用户体验下降。
KAT-V1针对这一问题进行了优化,研究团队希望模型能够根据任务复杂度自主判断是否进行深入思考,从而实现更高效的人机协作。快手团队在今年6月推出的 KwaiCoder-AutoThink-preview 为解决此问题提供了初步方案,KAT-V1在此基础上进行了进一步的推理能力优化。
创新的数据处理与模型蒸馏技术
KAT-V1模型是在 Qwen2.5-32B 的基础上进行扩展的。团队构造了大量的思考与非思考数据,并在预训练阶段使用了约1000万个示例,以确保模型在科学、代码、数学等多个领域的能力泛化。通过独特的异构蒸馏框架,KAT-V1能高效地将教师模型的知识传递给学生模型,大大降低了模型初始化的成本。
在模型的后训练阶段,Kwaipilot 团队通过强化学习方法提升模型的智能决策能力。KAT-V1能够通过学习,智能选择合适的思考模式,使得在复杂问题上,其性能可以达到 DeepSeek-R1-0528的95% 以上。
目前,KAT-V1的40B 版本已在 Hugging Face 平台上线,用户也可以在快手打造的 AI 研发助手 Kwaipilot 中体验这一模型。200B 版本的 MoE 模型仍在训练中,未来有望带来更强大的功能和应用。
模型开源地址:https://huggingface.co/Kwaipilot/KAT-V1-40B
技术报告地址:https://arxiv.org/pdf/2507.08297

快手推出KAT-V1开源大模型:自动推理能力大幅增强,40B版本的效能逼近R1-0528 40B版的水准

快手发布并开源了具备“自动思考”能力的KAT-V1大模型,该模型由快手Kwaipilot团队研发,旨在解决大模型“过度推理”问题。KAT-V1提供了40B和200B两个版本,其中:

  • 40B版本在自动思考模式下,性能可追平今年5月发布的DeepSeek-R1-0528(参数量为6850亿),且在仅用80% Token的情况下实现这一性能,显著降低了计算成本。

  • 200B版本则在多项基准测试中超越了Qwen、DeepSeek和Llama等主流开源模型的旗舰版本

LiveCodeBench Pro这一竞赛级实时基准测试中,KAT-V1-40B的得分在国产开源模型中位居首位,并跻身闭源模型之列,展现了其卓越的推理和代码生成能力。

KAT-V1的核心创新在于其**“AutoThink”机制**,模型能够根据任务难度自动切换“思考”与“非思考”模式,避免在简单问题上过度消耗计算资源。团队提出了Step-SRPO强化学习算法,通过双重奖励机制优化模型的推理决策,使模型在保持高准确性的同时,进一步降低了Token使用量。

目前,KAT-V1的40B版本已在Hugging Face开源,200B版本的MoE模型仍在训练中。

©️版权声明:
本网站(https://aigc.izzi.cn)刊载的所有内容,包括文字、图片、音频、视频等均在网上搜集。
访问者可将本网站提供的内容或服务用于个人学习、研究或欣赏,以及其他非商业性或非盈利性用途,但同时应遵守著作权法及其他相关法律的规定,不得侵犯本网站及相关权利人的合法权利。除此以外,将本网站任何内容或服务用于其他用途时,须征得本网站及相关权利人的书面许可,并支付报酬。
本网站内容原作者如不愿意在本网站刊登内容,请及时通知本站,予以删除。

最新Ai信息

最新Ai工具