小米 MiMo

小米 MiMo 图文介绍：

Xiaomi MiMo，是小米首个推理大模型，联动预训练到后训练，全面提升推理能力，于2025年4月30日开源。
MiMo来自全新成立不久的小米大模型Core团队的初步尝试。在数学推理（AIME 24-25）和代码竞赛（LiveCodeBench v5）公开测评集上，MiMo仅用7B的参数规模，超越了OpenAI的闭源推理模型o1-mini和阿里Qwen更大规模的开源推理模型QwQ-32B-Preview。

主要功能

MiMo在数学推理（AIME 24-25）和 代码竞赛（LiveCodeBench v5）公开测评集上，MiMo 仅用 7B 的参数规模，超越了 OpenAI 的闭源推理模型 o1-mini 和阿里 Qwen 更大规模的开源推理模型 QwQ-32B-Preview。
在相同RL训练数据情况下，MiMo-7B 的数学&代码领域的强化学习潜力显著领先。
预训练+后训练，联动提升推理能力MiMo推理能力的提升，由预训练和后训练阶段中数据和算法等多层面的创新联合驱动，包括：

• 预训练：核心是让模型见过更多推理模式
• 数据：着重挖掘富推理语料，并合成约200B tokens推理数据。
• 训练：进行了三阶段训练，逐步提升训练难度，总训练25T tokens。
• 后训练：核心是高效稳定的强化学习算法和框架
• 算法：提出 Test Difficulty Driven Reward 来缓解困难算法问题中的奖励稀疏问题，并引入 Easy Data Re-Sampling 策略，以稳定 RL 训练。
• 框架：设计了Seamless Rollout系统，使得RL训练加速2.29倍，验证加速1.96倍。