阿里巴巴 Qwen 团队推出新一代 GUI 自动化解决方案：Mobile-Agent-v3 和 GUI-Owl

发布时间：2025-09-01 11:24:17 | 责任编辑：吴昊 | 浏览量：6 次

近日，阿里巴巴 Qwen 团队推出了两款革命性的产品 ——Mobile-Agent-v3和 GUI-Owl，这些工具旨在解决图形用户界面（GUI）自动化中的一系列挑战。
现代计算设备普遍采用图形用户界面，然而，以往的自动化方法往往依赖于复杂的脚本和手工规则，效果并不理想。GUI-Owl 作为一种新型的多模态代理模型，构建于 Qwen2.5-VL 之上，并在大量 GUI 交互数据上进行了后续训练，旨在提升任务理解和执行的能力。
GUI-Owl 的设计初衷是处理真实世界中 GUI 环境的多样性和动态性。它通过整合感知、推理、规划和执行能力，提供了一个统一的政策网络。这种设计使得它能够在复杂的任务中进行多轮决策，同时实现清晰的推理过程，适应实际使用中的变化。
为了确保高质量的数据支持，团队开发了一个自我演化的数据生产管道。该管道生成真实应用程序导航流程，并通过人类注释进行验证，确保了生成数据的真实性和有效性。此外，团队还使用了多种数据合成策略，以丰富模型的学习内容，使其在任务执行时具备更强的适应性和灵活性。
Mobile-Agent-v3框架则侧重于多代理的协作，它将复杂任务分解为子目标，通过动态更新计划来处理执行反馈。框架中的四个专业代理 —— 经理代理、工作代理、反思代理和笔记代理 —— 各司其职，提升了任务执行的效率和成功率。经过多轮的测试和评估，GUI-Owl 和 Mobile-Agent-v3在多个 GUI 自动化基准上表现优异，特别是在跨平台的任务完成能力方面。
这些创新工具的发布标志着阿里巴巴在通用 GUI 自动化领域的一次重大进展，未来将为更广泛的应用场景提供更强大的技术支持。
论文:https://arxiv.org/abs/2508.15144
github:https://github.com/X-PLUG/MobileAgent
划重点:
🌟 GUI-Owl 是阿里巴巴推出的多模态代理模型，集成感知、推理和执行能力，适应复杂 GUI 环境。
🤖 Mobile-Agent-v3框架实现多代理协作，通过动态更新计划提升任务执行效率。
📊 这两款产品在 GUI 自动化基准测试中表现出色，标志着阿里巴巴在自动化领域的重要突破。