清华与上海 AI Lab 联合打造新型过程奖励模型GenPRM，让小模型超越 GPT-4o
发布时间：2025-04-14 14:52:31 | 责任编辑：字母汇 | 浏览量：13 次
在人工智能领域，随着 OpenAI 的 o1和 DeepSeek 的 R1模型受到广泛关注，大语言模型（LLM）的推理能力和测试时扩展(TTS)技术引发了众多研究者的兴趣。然而，在处理复杂推理问题时，如何准确评估模型每一步的回答质量，依然是一个亟待解决的难题。为此，清华大学与上海 AI Lab 共同提出了生成式过程奖励模型(GenPRM)，为过程监督推理提供了创新解决方案。
传统的过程奖励模型（PRM）虽然能够验证推理步骤的正确性，但由于采用了标量评分机制，难以捕捉深层次的逻辑错误。此外，PRM 的判别式建模方式也限制了其在测试阶段的扩展能力。为此，GenPRM 结合了生成式思维链推理和代码验证，并引入了测试时扩展机制，开辟了全新的研究方向。
GenPRM 的设计理念模拟了人类解题时的思维过程，允许模型在每一步推理时进行自然语言分析，这样不仅提高了透明性，还使得步骤评估更加可解释。同时，GenPRM 生成并执行与推理相关的 Python 代码，确保推理的可靠性。这种 “先解释、再验证” 的机制，不仅能够判断对错，还能提供具体的改进建议，显著提升了过程监督的效果。
令人惊讶的是，GenPRM 只用了23K 的训练样本，就取得了超过 GPT-4o 的优异表现。在 ProcessBench 等数学推理基准的测试中，1.5B 参数的 GenPRM 通过测试时扩展技术的加持，表现优异;而其7B 参数版本则成功超越了72B 参数的 Qwen2.5-Math-PRM，展现了强大的步骤级批评能力。
此外，GenPRM 的优势还体现在其高效的数据合成方法上。通过相对进步估计（RPE）和代码验证，GenPRM 生成了高质量的过程监督数据，大幅减少了对大量标注数据的需求。研究者们利用 QwQ-32B 模型合成数据，并通过共识过滤保留高质量样本，最终形成了这个仅有23K 的训练集。
未来，GenPRM 不仅能作为答案的验证器，也能够扮演 “教练” 的角色，通过反馈指导策略模型的迭代优化。这种 “生成 - 批评 - 反思” 的闭环为大语言模型的自我改进提供了全新的路径，未来也可能扩展到代码生成和多模态推理等领域。
项目地址：https://ryanliu112.github.io/GenPRM/
清华大学与上海 AI Lab 联合提出了生成式过程奖励模型（GenPRM），在过程监督推理方面取得了显著成果，以下是相关介绍：
GenPRM 的创新点
-
生成式思维链推理与代码验证结合：GenPRM 模拟人类解题时的逻辑推导，对每一步推理进行自然语言分析，提供透明、可解释的步骤评估。同时，它还会生成并执行对应数学运算的 Python 代码，将文字推导与实际计算结果交叉验证，避免了“符号推导正确但计算失误”的情况。
-
引入测试时扩展机制：在推理阶段，GenPRM 通过并行采样多条推理路径，综合多条路径的奖励值并取平均，得到最终奖励。这种策略充分利用额外计算资源，进一步提升评估精度，使小模型也能在复杂任务中表现出色。
-
高效的数据合成方法：GenPRM 仅使用 23K 训练样本就取得了优异的性能，远少于许多模型动辄数十万级的数据量。其高效性源于独特的数据合成方法，结合相对进步估计（RPE）和代码验证，生成高质量的过程监督数据。
GenPRM 的性能表现
-
超越 GPT-4o：在 ProcessBench 等数学推理基准的测试中，仅 1.5B 参数的 GenPRM 通过测试时扩展超越了 GPT-4o；其 7B 参数版本更是击败了 72B 参数的 Qwen2.5-Math-PRM，展现出强大的步骤级批评能力。
-
策略模型测试时扩展能力：GenPRM 同样适用于策略模型测试时扩展。通过 Best-of-N 实验，GenPRM-7B 展现出相比于基线方法更加优异的筛选能力，并可通过测试时扩展进一步增强过程监督能力。
GenPRM 的应用前景
GenPRM 不仅能作为验证器筛选答案，还能作为步骤级别的批评模型指导策略模型迭代优化原始回答。这种“生成 - 批评 - 反思”的闭环为大语言模型的自我改进提供了可解释的技术路径。未来，GenPRM 也可能扩展到代码生成和多模态推理等领域。
本网站(https://aigc.izzi.cn)刊载的所有内容，包括文字、图片、音频、视频等均在网上搜集。
访问者可将本网站提供的内容或服务用于个人学习、研究或欣赏，以及其他非商业性或非盈利性用途，但同时应遵守著作权法及其他相关法律的规定，不得侵犯本网站及相关权利人的合法权利。除此以外，将本网站任何内容或服务用于其他用途时，须征得本网站及相关权利人的书面许可，并支付报酬。
本网站内容原作者如不愿意在本网站刊登内容，请及时通知本站，予以删除。
