首页 > 快讯 > 苹果采用AI新培训策略以任务列表取代人工评估大幅增强模型效能

苹果采用AI新培训策略以任务列表取代人工评估大幅增强模型效能

发布时间：2025-08-26 12:16:10 | 责任编辑：吴昊 | 浏览量：6 次

苹果公司研究团队近日在最新论文中提出了一种名为"基于清单反馈的强化学习"（RLCF）的创新训练方法，通过用具体任务清单替代传统的人工点赞评分机制，大幅提升了大语言模型执行复杂指令的能力。
据了解，RLCF全称为Reinforcement Learning from Checklist Feedback，与目前广泛采用的"人类反馈强化学习"（RLHF）方法形成鲜明对比。传统RLHF方法主要依赖人工进行简单的点赞或点踩评价，而RLCF则为每条用户指令生成详细的检查清单，并按0-100分的标准对各项内容进行精确评分，以此作为模型优化的指导依据。
苹果研究团队选择了强指令跟随模型Qwen2.5-7B-Instruct作为测试对象，并在五个常用评测基准上进行了全面验证。测试结果显示，RLCF是唯一在所有测试项目中都取得性能提升的训练方案。
具体数据显示，在FollowBench测试中，硬性满意率提升了4个百分点。InFoBench评分提高6点，Arena-Hard胜率增加3点。在某些特定任务中，性能提升幅度最高达到8.2%。这些数据表明，清单反馈方法在处理复杂多步骤任务时表现尤为突出。
在技术实现方面，苹果团队的清单生成过程颇具创新性。他们采用更大规模的Qwen2.5-72B-Instruct模型，结合现有研究方法，为13万条指令构建了名为"WildChecklists"的专用数据集。清单内容设计为明确的二元判断项，例如"是否翻译成西班牙语"等具体要求。随后，大模型对候选回答进行逐项评分，通过综合加权处理后形成训练奖励信号，指导小模型的学习优化过程。
不过，苹果研究人员也坦率承认了该方法的局限性。首先，RLCF需要依赖更强大的模型作为评判标准，这在计算资源受限的场景下可能面临实施困难。其次，该方法专门针对复杂指令执行能力的提升而设计，并非用于安全对齐目的，因此无法替代现有的安全性评估和调优机制。对于其他类型的AI任务，RLCF方法的适用性还需要进一步的实验验证。
业界专家认为，苹果此次提出的RLCF方法为AI模型训练提供了新的思路，特别是在处理复杂多步骤任务方面展现出明显优势。随着技术的进一步完善，这一方法有望在实际应用中发挥更大作用。

苹果研究团队近日提出了一种名为 “基于清单反馈的强化学习”（Reinforcement Learning from Checklist Feedback，RLCF） 的创新训练方法，通过用具体任务清单替代传统的人工点赞评分机制，显著提升了大语言模型执行复杂指令的能力

。

RLCF 的核心创新

传统的人类反馈强化学习（RLHF）方法主要依赖人工进行简单的点赞或点踩评价，这种方式在面对复杂、开放式任务时，难以捕捉用户具体指令中的细微差别，且主观性强、效率低

。而 RLCF 方法则为每条用户指令生成详细的检查清单（Checklist），并按 0-100 分的标准对各项内容进行精确评分，以此作为模型优化的依据

。

技术原理

RLCF 从用户指令本身动态提取任务清单，将模糊、主观的评价标准转化为具体、可量化的检查项。模型训练过程中，RLCF 通过强化学习算法，利用这些精确的清单评分来指导模型优化，从而提升模型在复杂指令执行上的准确性和可靠性

。

实验结果

在五大主流基准测试中，RLCF 是唯一一个能在所有测试集上全面提升模型性能的方法，标志着语言模型对齐技术的重要突破

。

相关论文

该研究由卡内基梅隆大学与苹果公司共同完成，相关论文为《Checklists Are Better Than Reward Models For Aligning Language Models》，论文地址：https://www.arxiv.org/abs/2507.18624

。

©️版权声明：
本网站(https://aigc.izzi.cn)刊载的所有内容，包括文字、图片、音频、视频等均在网上搜集。
访问者可将本网站提供的内容或服务用于个人学习、研究或欣赏，以及其他非商业性或非盈利性用途，但同时应遵守著作权法及其他相关法律的规定，不得侵犯本网站及相关权利人的合法权利。除此以外，将本网站任何内容或服务用于其他用途时，须征得本网站及相关权利人的书面许可，并支付报酬。
本网站内容原作者如不愿意在本网站刊登内容，请及时通知本站，予以删除。