CoAct-1由南加州大学与Salesforce合作发布：通过代码与GUI结合，创新性地推进AI代理自动化

Salesforce 与南加州大学（USC）携手推出的 CoAct-1 是一项突破性的 AI 代理技术，通过代码执行与图形用户界面（GUI）操作的混合方法，显著提升了 AI 代理在计算机上执行复杂任务的效率和可靠性。

1. 传统 AI 代理的瓶颈

传统 AI 代理主要依赖视觉语言模型（VLM）模拟鼠标和键盘的 GUI 操作，直观但脆弱：

• 长任务易失败：复杂、多步骤任务中，一次误点击或对 UI 元素的误解就可能导致整个流程失败。

• 效率低下：冗长的 GUI 操作步骤降低了执行效率。

2. CoAct-1 的混合架构

CoAct-1 采用三代理协作架构，动态分配任务，融合代码与 GUI 的优势：

• 编排器（Orchestrator）：负责将用户目标分解为子任务，并分配给最合适的代理。

• 程序员（Programmer）：编写并执行 Python 或 Bash 脚本，高效处理文件管理、数据操作等后端任务。

• GUI 操作员（GUI Operator）：执行需要视觉交互的前端任务，如点击按钮、导航菜单。

这种**“因地制宜”的动态任务分配**机制，使 CoAct-1 能够绕过低效的 GUI 操作，转而采用更稳健的代码执行，同时保留必要的视觉交互。

3. 性能突破：更快、更可靠

在 OSWorld 基准测试（包含 369 个真实任务）中，CoAct-1 实现了：

• 60.76% 的成功率，成为首个突破 60% 阈值的 CUA（Computer-Using Agent）系统。

• 平均仅需 10.15 步完成任务，相比纯 GUI 代理（如 GTA-1 的 15.22 步），效率提升约 33%，显著减少错误累积。

特别在多应用协同任务和操作系统级任务中，CoAct-1 表现尤为突出：

• LibreOffice Calc 电子表格任务：成功率达 70.21%，远超 GTA-1 的 59.57%。

• 多应用协同任务：成功率从 GTA-1 的 38.34% 跃升至 CoAct-1 的 47.88%。

4. 企业应用与未来展望

CoAct-1 在客户支持、销售勘探、自动化簿记和营销活动管理等企业场景中展现出巨大潜力，能够灵活应对既有 API 又无 API 的混合工具环境。

然而，从实验室走向企业应用仍面临挑战：

• 遗留系统适配：需处理老旧软件接口，适配成本较高。

• 安全性与人工监督：需建立沙盒训练环境和严格的访问控制，防止恶意代码执行，确保“人在环”（human-in-the-loop）的安全运行模式。

5. 总结

CoAct-1 通过将代码执行提升为与 GUI 操作并列的核心行动，突破了传统 AI 代理在长任务和复杂环境中的瓶颈，为通用计算机自动化提供了更高效、更可靠、更可扩展的技术路径。