DeepEyesV2：升级版多模态AI智能助手，助力实现更强大模型超越

发布时间：2025-11-17 10:23:24 | 责任编辑：吴昊 | 浏览量：12 次

最近，中国研究人员推出了一款名为 DeepEyesV2的多模态人工智能模型，它可以分析图像、执行代码并进行网络搜索。与依赖训练期间获得的知识的传统模型不同，DeepEyesV2通过智能利用外部工具，表现出色，许多情况下超越了更大型的模型。
在早期实验中，研究团队发现仅依靠强化学习不足以稳定地使用工具进行多模态任务。最初，模型尝试为图像分析编写 Python 代码，但经常生成错误的代码片段。随着训练的深入，模型甚至开始完全跳过工具的使用。
为了解决这个问题，研究团队开发了一种两阶段的训练流程。第一阶段，模型学习将图像理解与工具使用相结合;第二阶段，利用强化学习来优化这些行为。通过使用领先的模型生成高质量示例，研究人员确保了工具使用路径的准确性和清晰度。
DeepEyesV2使用三种工具类别来处理多模态任务:代码执行用于图像处理和数值分析，图像搜索用于检索相似内容，而文本搜索则提供图像中不可见的上下文信息。模型通过整合图像操作、Python 执行和图像 / 文本搜索，适应不同的查询。
为了评估这种方法，研究团队创建了 RealX-Bench 基准测试，以检验模型在视觉理解、网络搜索和推理方面的协调能力。研究表明，即便是表现最强的专有模型，准确率也仅达到46%，而人类则达到了70% 的准确率。在需要同时运用三种技能的任务中，当前模型的表现更是不尽如人意。
DeepEyesV2在多个基准测试中表现出色，在数学推理任务中，准确率达到了52.7%，在搜索驱动任务中，则达到了63.7%。这显示出通过精心设计的工具使用，可以弥补较小模型的局限性。
DeepEyesV2现已在 Hugging Face 和 GitHub 上发布，使用 Apache License2.0可供商业使用，继续推动多模态 AI 的发展。
论文:https://arxiv.org/abs/2511.05271
划重点:
🌟 DeepEyesV2利用智能工具提升多模态任务的表现，超越大型模型。
🔧 采用两阶段训练流程，结合图像理解与工具使用。
📈 在多个基准测试中表现优秀，展现出较小模型的潜力。