视觉语言模型的重大进展！Visual ARFT 增强多模态智能体的效能

Visual ARFT（Visual Agentic Reinforcement Fine-Tuning）是近期在视觉语言模型领域的一项重要突破，它通过强化微调的方式，显著提升了视觉语言模型（LVLMs）的多模态智能体能力。

核心技术与方法

Visual ARFT基于强化学习和可验证奖励机制，通过Group Relative Policy Optimization（GRPO）算法更新模型权重。它针对两种关键任务场景进行优化：

1. Agentic Search：模型能够对多模态多跳问题进行分析和推理，主动分解任务，规划信息检索路径，并通过调用搜索引擎获取外部知识。

2. Agentic Coding：模型能够对复杂图像（如模糊、旋转、曝光过强的图像）进行分析，自动生成Python代码完成图像修复或剪裁，提取关键区域以辅助视觉问答。

评估基准

为了评估模型的多模态智能体能力，研究团队构建了多模态智能体工具基准（MAT-Bench），包括：

• MAT-Search：包含150道多跳视觉问答任务，需要模型调用搜索引擎获取外部知识。

• MAT-Coding：包含200道复杂图像问答任务，模型需要通过编写代码处理图像。

实验结果

实验结果显示，Visual ARFT在MAT-Bench上取得了显著的性能提升：

• 在MAT-Coding任务中，Qwen2.5-VL-7B模型通过Visual ARFT实现了+18.56% F1和+13.00% EM的提升，超越了GPT-4o。

• 在MAT-Search任务中，该模型实现了+10.28% F1和+8.66% EM的提升。

此外，Visual ARFT在其他传统多跳问答基准测试（如2WikiMultihopQA和HotpotQA）中也展现出强大的泛化能力，分别实现了+29.3% F1和+25.9% EM的提升。

未来展望

Visual ARFT为开发开源的多模态智能体提供了一条有前景的路径，它仅需少量标注数据（如20个Agentic Search和1200个Agentic Coding示例）即可实现有效的训练。这一方法不仅提升了模型的多模态推理能力，还减少了对大型技术平台的依赖，为未来AI系统的发展提供了新的可能性。