Kimi K3.1 Pro 实测顺带对比:同题 V4.1 Flash 27 秒 $0.016 完成
Atomic Agent 用埋 5 个 bug 的小 Python 包测 Kimi K3.1 Pro,顺带记录 DeepSeek V4.1 Flash 27 秒、$0.016 就做完该题,远快于 Opus 5.5 的 69 秒 $0.37。
Kimi K3.1 Pro 出来一天,第三方实测陆续有了,结论挺一致:能做对,就是磨 先说好消息,上条我贴的 Terminal-Bench 4.0 官方是 65.7,Artificial Analysis 自己跑出来 67%,比官方报的还高。AA 综合指数 55,排第四,前面只有 Opus 5.5、Sonnet 5.5 和 Muse Wonder 然后是代价。Atomic Agent 拿一个埋了 5 个 bug、缺 2 个功能的小 Python 包测,每个模型跑 3 次,全都过了,过程差很多 Opus 5.5 平均 7 步,69 秒,$0.37 K3.1 Pro 默认 max effort 要 28 步,4.9 分钟,$0.35 到 $0.46 单价便宜一大截,最后钱差不多,时间是 4 倍多 切到 low effort 就正常了,2.2 分钟,$0.16 到 $0.21,大概 Opus 的一半价钱。这题本身也不难,DeepSeek V4.1 Flash 27 秒 $0.016 就做完了 Kingy 拿 4 个 SWE-bench Verified 的 issue 各跑两次,K3.1 Pro 过了 4/8,和 Sonnet 5.5 一样,花的钱是 $0.72 对 $1.93。GPT-6.1 Sol 5/8,$0.80 我的感觉是它聪明是真的,就是想得太多、步子太碎。默认开 max 对简单活纯属浪费,先 low,搞不定再往上调。等权重放出来,大概率是最接近 Opus 的开源模型,但要拿来当主力,先想想能不能忍它慢 4 倍
这条是引用着另一条写的:x.com/scarletkc/status/2113720331525632269