增强 AI 决策技能：谷歌 DeepMind 使用强化学习进行微调

谷歌 DeepMind 最近通过强化学习微调（Reinforcement Learning Fine-Tuning, RLFT）显著提升了 AI 的决策能力。以下是相关介绍：

技术原理

• 强化学习微调（RLFT）：DeepMind 的 RLFT 方法通过将模型自身生成的推理过程（chain-of-thought, CoT）作为训练信号，使模型能够根据自己的推理逻辑采取行动。

• 具体步骤：

  1. 输入指令和历史动作与奖励信息。

  2. 模型生成包含推理过程和建议动作的序列。

  3. 使用蒙特卡洛基线和广义优势估计对推理过程中的动作进行评估，奖励合理且高价值的动作，惩罚无效动作。

  4. 通过奖励塑形，确保输出结构化（例如，仅生成有效动作），同时保留探索空间。

实验结果

• 多臂老虎机测试：在 10 臂多臂老虎机测试中，2B 参数模型的动作覆盖率提高了 12 个百分点，频率偏差从 70% 降低到 35%，表明模型能够摆脱重复习惯。

• 井字棋测试：与随机对手对战时，模型的胜率提高了 5 倍；与最优蒙特卡洛树搜索（MCTS）代理对战时，平均奖励从 -0.95 提升到 0（达到竞争水平）。

意义与应用

• 解决“知行合一”问题：传统 AI 模型往往在推理方面表现出色，但在实际行动中却无法有效执行。RLFT 通过训练模型根据自身的推理逻辑采取行动，缩小了“知道”和“行动”之间的差距。

• 实际应用场景：在机器人控制、游戏、商业决策等领域，RLFT 可以使 AI 更可靠地将推理转化为实际操作。

未来展望

• 模型规模与性能：研究表明，参数规模更大的模型（如 27B 参数模型）从 RLFT 中受益更多，这表明计算规模对性能提升有重要影响。

• 多模态与多智能体系统：未来，RLFT 可能会与多模态模型（如处理文本和视觉信息的模型）结合，应用于多智能体系统或实时动态决策场景。

谷歌 DeepMind 的 RLFT 研究为 AI 决策能力的提升提供了新的思路，使 AI 不仅能够思考，还能更有效地行动。