d1新框架推动扩散模型推理提升，引领强化学习应用革新潮流

d1框架引领扩散模型推理进步

d1框架由加州大学洛杉矶分校（UCLA）和Meta的研究者联合推出，是一个结合了监督微调（SFT）和强化学习（RL）的两阶段后训练框架，专门用于提升掩码扩散大语言模型（dLLM）的推理能力。

创新设计

• 两阶段训练策略：第一阶段通过高质量的推理轨迹进行监督微调，使模型掌握基础知识和逻辑推理能力；第二阶段引入名为diffu-GRPO的新型策略梯度方法，专门针对掩码dLLM优化，大幅提高推理效率。

• 高效对数概率估计器：为解决dLLM在强化学习后训练中的计算难题，研究团队开发了一种高效的对数概率估计器，通过独立计算每个token的概率，减少了计算时间并提高了训练效率。

实验结果

• 在实验中，研究者使用LLaDA-8B-Instruct作为基础模型，比较了d1-LLaDA与仅使用SFT或diffu-GRPO训练的模型。结果显示，d1-LLaDA在多个数学和逻辑推理测试中表现优异，远超基础模型和单一方法。

• d1训练方案在12个实验设置中有11项优于纯diffu-GRPO方案，表明两个训练阶段存在协同效应。

• 定性结果显示，d1-LLaDA模型在生成序列长度达到512时，展现出自我修正机制和回溯行为。

引发强化学习应用新风潮

d1框架的提出不仅推动了扩散模型在推理任务中的表现，还为强化学习在非自回归模型中的应用提供了新思路。

• 非自回归模型的推理潜力：传统的自回归模型在强化学习后训练中占据主导地位，而d1框架证明了非自回归的扩散模型在推理任务中同样具有巨大潜力。

• 高效训练方法的推广：d1框架中提出的高效对数概率估计器和diffu-GRPO方法，为其他非自回归模型的强化学习训练提供了可借鉴的技术。

• 未来研究方向的拓展：d1框架的成功为后续研究提供了广阔空间，研究者们可以在此基础上探索更复杂的推理和逻辑任务，进一步推动语言模型的发展。

总结

d1框架通过创新的两阶段训练策略和高效的对数概率估计器，显著提升了扩散模型的推理能力，并为强化学习在非自回归模型中的应用开辟了新道路。这一成果不仅推动了扩散模型的发展，也为未来人工智能领域的研究提供了新的方向。