Agnes Harness: LLM as brain, Jev as cerebellum for physical robots

GitHubDaily @GitHub_DailyOriginally posted 2026.10.22

Open original on X

这几天，南京的物理 AI 与世界模型大会上，在一众参展的公司里，Agnes AI 展台前格外热闹。 现场有机械狗和瓦力一起互动，各大屏幕上放着用 AI 打王者荣耀、机械臂抓取等有趣的案例。 这些演示案例背后，用的是他们不久前开源的 Agnes Harness 框架。 GitHub：http://github.com/AgnesAI-Labs/agnes-harness 它把大模型当大脑，决策模型 Jev 当小脑，自己负责记任务进度、调工具，再通过一套叫 MHS 的开放协议，把真实硬件接进来。 在 Agnes Harness 里输入一句话，让机械狗去找好朋友瓦力打个招呼，它就自己走到瓦力跟前挥挥爪子，接着又让它给瓦力跳了个舞。 另外 Agnes Harness 还跟 Agnes Embed TTT 构建了一套双进化智能系统，分为系统和模型进化。 系统进化，现场拿 AI 打王者荣耀作为演示，对局里大模型实时规划策略，每打完一局再复盘，自己调整策略和执行代码，最后胜率 100%。 模型进化交给 Agnes Embed TTT，以机械臂抓取的模拟实验为例，边抓边收集数据拿去训练，实时调整模型的权重参数，越抓越准。 想要了解 AI 是怎么从屏幕走到现有这些物理设备上的朋友，这个开源框架值得研究看看。