Vision-R1：强化学习助力视觉定位，图文模型性能提升 50%

Vision-R1 是由中国科学院自动化研究所与中科紫东太初团队共同研发的一项新技术。该技术利用类 R1 强化学习技术，显著提升了视觉定位的能力，在目标检测和视觉定位等复杂任务上实现了最高 50% 的性能提升，甚至超过了参数规模超过 10 倍的现有最优模型（SOTA）。

核心技术和设计

1. 奖励机制
   • 框优先的预测匹配：Vision-R1 采用多目标预测的统一建模方式，对文本序列化的预测结果进行反序列化，提取出每个目标的预测框及其标签，并将预测结果与真实标注进行匹配。
   • 双重格式奖励：旨在解决密集场景下长序列预测的格式错误问题，确保预测结果同时满足格式和内容要求。
   • 召回奖励：鼓励模型尽可能多地识别目标，针对每个预测目标及其匹配的真实目标（GT），当两者的 IoU 超过预设阈值 ζ 时，视为该预测有效。
   • 精度奖励：从单实例角度衡量预测质量，鼓励模型生成高质量的边界框。
2. 渐进式规则调整策略
   • 差异化策略：扩大预测结果与实际奖励之间的映射差异，通过惩罚低召回率（Recall）和低平均 IoU 的预测，并对高召回率和高 IoU 的预测给予较高奖励。
   • 阶段渐近策略：训练过程被划分为初学阶段和进阶阶段，并通过逐步调整阈值 ζ 来实现奖励规则的逐渐变化。

性能评估和测试

1. 域内外目标检测评测
   • 在经典目标检测数据集 COCO 和多样场景的 ODINW-13 上进行测试，无论基础性能如何，与基线模型相比这些模型在 Vision-R1 训练后性能大幅提升。
   • 在模型没有训练的域外定位数据集上进行测试，Vision-R1 在不同模型的四个数据集上取得了平均 6% 的性能提升。
2. 模型通用问答能力评测
   • Vision-R1 近乎不损失模型的通用能力，在通用问答、图表问答等评测集上模型实现了与基准模型基本一致的性能。

可视化分析

研究团队提供了在 Qwen2.5-VL-7B 模型上使用 Vision-R1 后在多个场景下的目标检测可视化结果。结果显示，Vision-R1 训练后，模型能够更好召回所感兴趣的物体，并进一步提升定位的精度。

开源信息

相关工作论文、模型及数据集代码均已开源：

• 论文地址：https://arxiv.org/pdf/2503.18013

实验结果和对比

在经典 COCO/ODINW 数据集上，Vision-R1 方法相较于基线模型性能的提升显著。实验结果表明，无论基础性能如何，经过 Vision-R1 训练后，模型的表现都大幅提升，甚至超过同系列 SOTA 模型，进一步接近了定位专家模型。

未来方向和思考

1. 模型迁移能力：模型能否迁移到视频、三维、以及更多模态的复杂推理场景？
2. 强化学习稳定性：是否可以结合其他启发式技术（如 Monte Carlo Tree Search、自监督验证机制）来进一步稳定强化学习过程？
3. 推理正确性：如何让多模态推理不仅有“解释可读性”，还要兼顾“鲁棒性”和“正确性”，尤其减少模型产生的不合理自我纠正和幻觉？

Vision-R1 的研究为“多模态大模型的深层推理”提供了新的可能性与动力，未来的研究将探索如何进一步提升模型的推理能力和泛化性。