字节Seed发布创新 AgentGym-RL 架构：增强大型语言模型的决策力

发布时间：2025-09-11 12:03:43 | 责任编辑：吴昊 | 浏览量：30 次

随着人工智能技术的不断发展，如何开发能够独立完成复杂任务的大规模语言模型（LLM）代理，已成为研究的热点。
为了让这些代理像人类一样，通过探索和与环境互动来学习，研究者们需要一个强大而统一的强化学习（RL）框架。然而，目前的研究中，尚缺乏一种有效的训练方法，能够在多样化的真实环境中，从零开始训练代理，而不依赖于监督微调(SFT)。
为了解决这一问题，字节跳动Seed研究团队推出了名为 AgentGym-RL 的新框架，专注于通过强化学习训练 LLM 代理，使其能够进行多轮互动决策。该框架具有模块化和解耦的架构，提供了极高的灵活性和扩展性。AgentGym-RL 覆盖了多种真实场景，能够支持主流的强化学习算法，帮助代理全面提升其决策能力。
为了进一步优化训练效果，研究团队还提出了一种名为 ScalingInter-RL 的训练方法。该方法通过阶段性调整交互次数，帮助代理在早期专注于掌握基本技能，随后逐渐增加交互次数，以鼓励更多样化的问题解决策略。这种探索与利用的平衡设计，有助于代理在面对复杂任务时保持稳定的学习和决策能力。
在实验过程中，研究者们采用了 Qwen2.5-3B 和 Qwen2.5-7B 作为基础模型，评估了 AgentGym-RL 和 ScalingInter-RL 在五个不同场景中的表现。结果显示，使用 AgentGym-RL 的代理在27个任务中，表现优于多个商业模型。研究团队计划将整个 AgentGym-RL 框架，包括代码和数据集，开源，以支持更多研究者开发智能代理。
AgentGym-RL 框架涉及的多种场景包括网络导航、深度搜索、数字游戏、体感任务和科学实验等，代理在这些场景中需具备强大的决策能力和适应能力，才能完成复杂的任务。
项目:https://agentgym-rl.github.io/
划重点:
🌐 AgentGym-RL 框架提供了一种新方法，旨在通过强化学习训练大规模语言模型代理，提升其复杂任务的决策能力。
🔄 ScalingInter-RL 训练方法通过阶段性调整交互，帮助代理在训练中实现有效的探索与利用平衡。
🏆 实验结果显示，AgentGym-RL 框架显著提升了代理的表现，超越了多个商业模型，具备了与顶尖专有大模型相当的能力。