阿里 OpenGCUA 论文：用代码驱动通用电脑代理
通义团队提出 OpenGCUA 执行框架，让现有大模型输出意图加 Python 代码来操作 GUI、shell 和跨设备，按需截图并自维护待办，平均步数减少约 53%；文中还讨论了 Muse 这类个人助理如何用动态生成代码省 token。
晚上看了下，阿里巴巴通义团队最新的一篇论文《OpenGCUA: Toward a Fully Open Stack for Generalist Computer Use》一个面向通用计算机使用代理的开源堆栈，结合了代码执行、GUI 交互和跨设备控制。 OpenGCUA 不是训练了一个新模型，而是设计了一套 Harness（执行框架），让现有的大模型按新的方式工作，通过生成code代码来操作计算机，很像Browser Use框架，但是Browser Use是操作浏览器，同时code生成是他的分支辅助路线，而OpenGCUA是操作计算机，code生成是他核心特性。 OpenGCUA每一步，模型会输出类似这样的结构： <intent>：说明这一步要干什么 <code>：一段 Python 程序 这段 Python 程序可以同时包含： -GUI 操作（如 http://pyautogui.click()） -shell / bash 命令 -循环、条件判断、中间结果检查（assert 等） 程序执行完后，根据结果再决定下一步。中间的逻辑判断不用再调用一次模型，这是节省调用次数的关键。 同时，模型自己决定： -要不要截图（按需观察，而不是每步都截） -自己维护 todo 列表来跟踪任务进度 代码执行可以大幅减少模型调用次数（论文里平均步数减少约 53%），中间结果也能直接驱动后续逻辑。 比如像Muse这类Personal Agent，大量用户的重复工作流，如果每次都是大量的重复调用Token消耗应该会很大，结合一定的code动态生成，把重复的工作转化成code，避免大量的重复任务的重复调用。 论文：https://arxiv.org/abs/2610.22200 github：https://github.com/Tongyi-MAI/OpenGCUA