Gemini 4 Argon drops to 49.8% on ARC-AGI-3 with standard harness
The author notes Gemini 4 Argon scores 97.5% on ARC-AGI-3 with its official harness but only 49.8% with the standard one, at higher cost, stressing how much harness choice affects results.
我还以为 v4.1 flash 1017 只是特化了 3D 建模、游戏等方面的能力，原来网络进攻侧的能力也有所增强 这里说 V4.1 Flash 击败了 OpenAI 在 Daybreak 授信白名单中的 GPT 6 Sol，16.3 分 vs 15.7 分，而这 0.6 分，消耗的 token 是 Sol 的 5 倍，用廉价的 token 暴力试错来反杀 Sol，上次说网络安全方面能力强的模型还是 GLM 5.3，但是榜单里好像没有用 GLM 5.3 来测试 不过这里 Vals AI 没有公布测试用的 Harness，之前举 Harness 对模型能力的贡献我比较喜欢举的是 OpenAI 的 Astra 在 ARC-AGI-3 上在自家 Harness 上得分 99.9%，而被 ARC Prize 用标准 Harness 测试后就只得了 62.7%。 现在还发现 Gemini 4 Argon 也是一样的，在 ARC-AGI-3 上用官方 Harness 拿了 97.5%，换标准 Harness 只剩下 49.8%，而且换标准 Harness 的时候所花的钱还更多 这么看来模型还得配上最适合自己的“专武”（Harness），才能发挥更强的效果，Vals AI 的这次攻击侧的网络能力测试，如果不是用模型各自的“专武”来测试的话，或许换成其他 Harness 后分数会有所改变
This post quotes another post: x.com/valsai/status/2112471082397778083