上海交大揭秘 LLM 与强化学习的融合：析对比 Llama 与 Qwen，首推 OctoThinker 系统
发布时间：2025-07-03 11:27:58 | 责任编辑：吴昊 | 浏览量：38 次
大型语言模型（LLM）通过结合任务提示和大规模强化学习(RL)在复杂推理任务中取得了显著进展，如 Deepseek-R1-Zero 等模型直接将强化学习应用于基础模型，展现出强大的推理能力。然而，这种成功在不同的基础模型系列中难以复制，尤其是在 Llama 系列上。这引发了一个核心问题:究竟是什么因素导致了不同基础模型在强化学习过程中表现不一致?
OpenAI 的 o1、o3和 DeepSeek 的 R1等模型在竞赛级数学问题上通过大规模强化学习取得了突破，推动了对千亿参数以下小型模型强化学习能力的探索。然而，这些进展大多局限于 Qwen 模型系列，难以在 Llama 等模型上复现。预训练流程缺乏透明度，使得理解预训练如何影响强化学习的扩展变得困难。一些非传统研究发现，一次性提示可以提高 Qwen 的推理能力，但对 Llama 却收效甚微。尽管 OpenWebMath、MathPile 等项目致力于整理高质量的数学预训练语料库，但其规模仍受限于千亿个 token 以下。
上海交通大学的研究人员以 Qwen 和 Llama 为研究对象，深入探究了中期训练策略对强化学习动态的影响，并得出了以下见解:
首先，像 MegaMath-Web-Pro 这样的高质量数学语料库能同时提升基础模型和强化学习的效果。其次，使用问答式数据，特别是包含长 CoT（Chain-of-Thought）推理的数据，可以进一步增强强化学习效果。第三，长 CoT 会在强化学习训练中引入冗长性和不稳定性。最后，在中期训练中应用扩展可以提升下游强化学习的性能。
研究人员提出了一种名为“稳定-衰减”的两阶段中期训练策略:首先使用2000亿个 token 训练基础模型，然后在三个以 CoT 为中心的分支上使用200亿个 token 进行训练。最终，这一策略成功生成了具有强大强化学习兼容性的 OctoThinker 模型。
研究人员使用 MATH8K 数据集进行强化学习 （RL） 训练提示，配置包括全局训练批次大小128、每个查询16个 rollout 响应以及 PPO 最小批次大小64。实验在 Llama-3.2-3B-Base 和 Qwen2.5-3B-Base 模型上进行。在评估中，基础语言模型采用少样本提示，而强化学习调优模型在 GSM8K、MATH500、OlympiadBench 和 AMC23 等指标任务上采用零样本提示。
在强化学习训练期间，Qwen 模型的响应长度持续增加并保持在合理范围内，而 Llama 模型则表现出异常行为，平均响应长度飙升至4，096个 token。评估结果进一步表明，强化学习调优后的 Qwen2.5-3B 在各个基准测试中均有所提升，而 Llama-3.2-3B 的提升则微乎其微。
在13个数学基准测试中，每个 OctoThinker 分支都比原始 Llama 基础模型提升了10%-20%，并且在所有规模的稳定阶段模型上都取得了持续的提升。OctoThinker-Zero 系列在强化学习扩展过程中展现出多样化的思维行为，其中 OctoThinker-Long 变体表现出色。在强化学习训练过程中比较三个3B 规模基础模型时，OctoThinker-Long-3B 的表现优于原始 Llama-3.2-3B 模型，并与以强大的推理能力和广泛预训练而闻名的 Qwen2.5-3B 模型达到相近的性能水平。混合分支和短分支的性能略低，尤其是在更具挑战性的基准测试中。
该研究深入探讨了 Llama 和 Qwen 等基础模型在强化学习推理过程中行为差异的原因，并强调了中期训练对强化学习可扩展性的重要性。两阶段中期训练策略成功将 Llama 转化为更适合强化学习的基础模型，最终诞生了 OctoThinker 模型。
未来的研究方向包括:策划更高质量的数学语料库以改善中期训练;使用开放配方创建 RL 友好的基础模型，无需从长 CoT 推理模型中进行提炼;分离 QA 格式和内容以分别了解它们的贡献;并通过新的分支（例如工具集成推理）扩展 OctoThinker 家族。
上海交大揭示 Llama 与 Qwen 差异，推出 OctoThinker 破解 RL 兼容性难题
核心发现
-
模型初始行为决定 RL 成效：Qwen 模型在强化学习（RL）中表现优异，因其预训练阶段已习得验证、回溯等“自我改进”认知行为；Llama 模型则缺乏这些行为，导致 RL 训练时易过早输出答案或生成重复内容，性能难以提升。
-
高质量数学语料是关键：研究团队发现，只有高质量数学推理数据（如 MegaMath-Web-Pro）能显著提升 RL 性能，而普通语料反而可能适得其反。
-
Mid-training 是“兼容性开关”：在预训练与微调之间插入“中期训练”阶段，通过高质量数学语料、思维链格式化数据及渐进式长度控制策略，可系统性提升 Llama 的 RL 适配性，使其性能逼近 Qwen。
OctoThinker 解决方案
-
三分支训练设计：
-
长推理分支：擅长复杂问题，生成详细思维链。
-
短推理分支：高效简洁，适合简单任务。
-
混合分支：平衡深度与效率，适应多样化场景。
-
-
渐进式长度控制：类似“从短文到长文”的教学方法，逐步引导模型适应长推理，避免 RL 训练中的不稳定行为。
-
Stable-then-Decay 策略：先稳定模型行为，再逐步衰减约束，最终释放 RL 扩展潜力。
实验成果
-
经过 OctoThinker 训练的 Llama 模型在 GSM8K 等基准测试中达到 Qwen 同系列模型的 95% 性能，显著缩小了模型家族间的 RL 适应差异。
-
开源的 70B token 数学推理语料库及 OctoThinker 模型家族，为后续研究提供了可复现的资源。
未来方向
-
将 Mid-training 范式扩展至科学推理、逻辑分析等领域。
-
优化推理深度与效率的平衡，避免冗余信息生成。
一句话总结：上海交大通过揭示 Llama 与 Qwen 的 RL 兼容性差异，提出 Mid-training 与 OctoThinker 方案，成功让“急性子”Llama 学会“深度思考”，为构建更智能、更可靠的 AI 推理系统开辟了新路径。
本网站(https://aigc.izzi.cn)刊载的所有内容，包括文字、图片、音频、视频等均在网上搜集。
访问者可将本网站提供的内容或服务用于个人学习、研究或欣赏，以及其他非商业性或非盈利性用途，但同时应遵守著作权法及其他相关法律的规定，不得侵犯本网站及相关权利人的合法权利。除此以外，将本网站任何内容或服务用于其他用途时，须征得本网站及相关权利人的书面许可，并支付报酬。
本网站内容原作者如不愿意在本网站刊登内容，请及时通知本站，予以删除。
