蚂蚁发布轻量级Ring-lite模型，开源MoE推理解决方案
发布时间：2025-06-23 09:05:16 | 责任编辑：吴昊 | 浏览量：7 次
近日，蚂蚁技术团队宣布正式开源其轻量级推理模型Ring-lite。该模型在多项推理榜单上取得了显著成绩，实现了轻量级推理模型的SOTA效果，再次验证了MoE架构的推理潜力。
Ring-lite以蚂蚁技术此前发布的Ling-lite-1.5为起点，该模型采用MoE架构，总参数为16.8B，但激活参数仅2.75B。凭借独创的C3PO强化学习训练方法，Ring-lite在AIME24/25、LiveCodeBench、CodeForce、GPQA-diamond等多项推理榜单上表现优异，比肩3倍激活参数大小的10B以下Dense模型。
在技术实现上，Ring-lite团队进行了多项创新。首创的C3PO强化学习训练方法有效解决了RL训练中回复长度波动导致的优化难题，显著改善了训练不稳定和吞吐波动问题。同时，团队还探讨了Long-CoT SFT与RL的黄金训练比重，从token efficiency角度提出了基于entropy loss来平衡训练效果和样本效率的方案，进一步提升了模型性能。
此外，Ring-lite还直面了多领域数据联合训练的难题，系统验证了混合训练与分阶段训练的优劣边界，在数学、代码、科学三重领域实现了协同增益。在多项复杂推理任务中，Ring-lite均展现出了出色的性能，尤其在数学推理和编程竞赛方面，得分领先于对比模型。
为了验证Ring-lite的实际应用效果，团队还进行了高考数学和物理题的测试。结果显示，Ring-lite在数学全国一卷上可以获得130分左右的成绩，表现优异。
蚂蚁技术团队表示，Ring-lite的开源不仅包含了模型权重和训练代码，还将逐步公开所有训练数据集、超参配置乃至实验记录。这可能是轻量级MoE推理模型首次实现全链路透明化，为相关领域的研究人员提供了宝贵的参考资源。
蚂蚁开源的轻量级MoE推理模型Ring-lite具有以下特点和优势：
基本信息
- 架构与参数：Ring-lite基于蚂蚁此前发布的Ling-lite-1.5模型，采用MoE架构，总参数量为168亿，但激活参数仅为27.5亿。
- 开源平台：Ring-lite已在GitHub、Hugging Face和ModelScope等平台开源。
技术创新
- C3PO强化学习训练方法：Ring-lite首创了C3PO强化学习训练方法，有效解决了强化学习训练中回复长度波动导致的优化难题，显著改善了训练不稳定和吞吐波动问题。
- 训练比重优化：团队探讨了Long-CoT SFT与RL的黄金训练比重，从token efficiency角度提出了基于entropy loss来平衡训练效果和样本效率的方案，进一步提升了模型性能。
- 多领域联合训练：Ring-lite直面多领域数据联合训练的难题，系统验证了混合训练与分阶段训练的优劣边界，在数学、代码、科学三重领域实现了协同增益。
性能表现
- 推理榜单成绩：Ring-lite在AIME24/25、LiveCodeBench、CodeForce、GPQA-diamond等多项推理榜单上取得了显著成绩，实现了轻量级推理模型的SOTA效果，比肩3倍激活参数大小的10B以下Dense模型。
- 高考题目测试：在高考数学和物理题的测试中，Ring-lite在数学全国一卷上可以获得130分左右的成绩，表现优异。
开源意义
Ring-lite的开源不仅包含了模型权重和训练代码，还将逐步公开所有训练数据集、超参配置乃至实验记录，这可能是轻量级MoE推理模型首次实现全链路透明化，为相关领域的研究人员提供了宝贵的参考资源。
本网站(https://aigc.izzi.cn)刊载的所有内容，包括文字、图片、音频、视频等均在网上搜集。
访问者可将本网站提供的内容或服务用于个人学习、研究或欣赏，以及其他非商业性或非盈利性用途，但同时应遵守著作权法及其他相关法律的规定，不得侵犯本网站及相关权利人的合法权利。除此以外，将本网站任何内容或服务用于其他用途时，须征得本网站及相关权利人的书面许可，并支付报酬。
本网站内容原作者如不愿意在本网站刊登内容，请及时通知本站，予以删除。
