CrusaderBench:Gemini 4 Argon 经营游戏得分 62.3 居首
新 Benchmark 让模型自主经营《要塞:十字军东征》城堡,Gemini 4 Argon 62.3 领先 GPT-6.1 Sol 与 Claude Opus 5.5,人类为 100 分。
测 AI 有没有战略头脑,最好的办法就是让它玩经营游戏。 最近看到一个特别有意思的 Benchmark,叫 CrusaderBench。开发者把目前最强的几个模型扔进了 2002 年的老游戏《要塞:十字军东征》,让它们自主经营一座中世纪城堡。 游戏里,AI 需要自己决定建什么、生产什么、卖什么,处理粮食供应、人口增长、税收和资源短缺。每局只有大约 33 分钟游戏时间,所有决策都由模型自己做。模型思考时游戏会暂停,因此反应速度也不会影响成绩。 最新排名挺有意思: Gemini 4 Argon:62.3 GPT-6.1 Sol:56.9 Claude Opus 5.5:43.4 Claude Sonnet 5.5:37.8 Muse Wonder:31.0 这里人类玩家的表现被设为 100 分。 最搞笑的是 Muse Wonder。有一局结束后,它自己复盘发现,辛辛苦苦经营半天,居然比什么都不做还损失了大约 1900 的资产价值。 GPT-6.1 Sol 则在另一局里创造了一个惊喜,最终资产达到 10289,超过开发者本人打出的 9984。但因为人口规模没跟上,总分还是输给了人类。 我觉得这个 Benchmark 最有价值的地方,在于它把 AI 的一个真实弱点暴露得特别直观。 很多时候,模型单独做一道题、执行一条指令,看起来都聪明得不得了。但经营一座城市,今天少建一座农场,十分钟后可能就要闹饥荒;现在把资源全部卖掉,后面可能连扩大生产的本钱都没了。 一个决策会改变下一个决策的条件,错误还会不断积累。模型得学会为自己之前的决定负责。 这其实跟今天很多 AI Agent 面临的困境很像。我现在越来越关心 AI 能不能把一整件事情从头到尾做成,而不只是每一步都表现得很聪明。 毕竟,最可怕的 Agent,可能就是那种忙活了一整天,最后发现还不如什么都不干的。 项目还在 Beta 阶段,样本也很小,但所有运行记录、录像和代码都开源了。这个方向我觉得值得继续关注。
这条是引用着另一条写的:「CrusaderBench:Gemini 4 Argon 以 62.3 分居首」