小米发布首个推理大模型Xiaomi MiMo，具备70亿参数并实现开源

发布时间：2025-04-30 13:59:18 | 责任编辑：吴昊 | 浏览量：6 次

全球知名科技公司小米正式发布其首个针对推理（Reasoning）而生的大型开源模型 ——Xiaomi MiMo。该模型旨在解决当前预训练模型在推理能力上的瓶颈，探索如何更有效地激发模型的推理潜能。MiMo 的推出标志着小米在人工智能领域的一次重要尝试，尤其是在数学推理和代码竞赛方面，表现出色。
** Xiaomi MiMo 的显著优势 **
据小米介绍，MiMo 在数学推理（AIME24-25）和代码竞赛(LiveCodeBench v5)的公开测评中，仅以7亿参数的规模便超越了 OpenAI 的闭源推理模型 o1-mini 和阿里巴巴的开源推理模型 QwQ-32B-Preview。此成绩不仅彰显了 MiMo 在推理任务上的优越性能，更为行业树立了新的标杆。
随着 DeepSeek-R1的推出，强化学习（RL）在业界引发了共创潮流。MiMo-7B 在相同的强化学习训练数据条件下，其在数学与代码领域的推理能力明显领先于现有的经典开源32B 模型，如 DeepSeek-R1-Distill-7B 和 Qwen2.5-32B。这样的成绩不仅展示了小米在算法和模型训练上的创新能力，更为其未来的 AI 发展奠定了坚实基础。
** 独特的训练方法推动推理能力提升 **
MiMo 的推理能力提升源于预训练与后训练阶段的多层面创新。在预训练阶段，MiMo 通过整合丰富的推理语料，合成了约200B tokens 的推理数据。训练过程中，小米采取了三阶段训练的方法，逐步增加训练难度，总共训练了25T tokens，以确保模型在复杂推理任务上的表现。
在后训练阶段，小米则聚焦于高效且稳定的强化学习算法和框架。通过引入 “测试难度驱动奖励”（Test Difficulty Driven Reward）策略，MiMo 有效解决了在困难算法问题中奖励稀疏的问题。同时，采用 “简单数据重采样”(Easy Data Re-Sampling)策略，提升了强化学习训练的稳定性和有效性。为了加速训练过程，小米还设计了无缝回放系统，使得 RL 训练速度提高了2.29倍，验证速度提升了1.96倍。
** 全面开源与未来展望 **
小米 MiMo 全系列的模型已开源至 HuggingFace 平台，用户可以方便地访问和使用这一前沿技术，具体链接为:[HuggingFace MiMo-7B]（https://huggingface.co/XiaomiMiMo）。小米表示，MiMo 是其全新成立的大模型核心团队的初步尝试，尽管2025年似乎是大模型发展的后半程，但小米始终相信，通往通用人工智能(AGI)的道路仍然漫长且充满挑战。
小米将继续秉持务实创新的原则，勇敢探索未知领域，以思考突破智能的边界，回应每一次的好奇心。通过 MiMo，小米不仅希望推动人工智能技术的发展，更希望在未来的智能生活中，为用户带来更多可能性。