deepseek-v4.1IMAGE
Kimi K3.1 Pro leads benchmarks but barely beats DeepSeek V4.1 Flash in blind tests
The author argues Terminal-Bench scores are gamed: on Agent Arena blind tests Kimi K3.1 Pro ranks 11th (+7.6%) versus DeepSeek V4.1 Flash 1017 at 13th (+4.4%), while costing about 5x more.
xiax｜AI & Agents
@xiax0603Archived 2 days agoOriginally posted 2026.10.25
xiax｜AI & Agents @xiax0603Originally posted 2026.10.25
🚨跑分骗局被戳穿！Kimi K3.1 Pro专项碾压DeepSeek V4.1 Flash 1017，实战差距微乎其微💥看着遥遥领先，实战只强一点点，价格却贵5倍！ Terminal-Bench的分数看上去Kimi K3.1 Pro遥遥领先，差距拉得十分夸张。 但Agent Arena真实盲测结果出炉，Kimi K3.1 Pro排在第11名，+7.6%；DeepSeek V4.1 Flash 1017排在第13名，+4.4%。 道理很简单，Terminal-Bench相当于固定试卷，模型可以针对性刷题冲高分； Agent Arena是随机任务盲考，贴近真实使用场景，没法提前定向优化。 Kimi K3.1 Pro仅仅只是小幅领先，调用成本却贵5倍以上。而DeepSeek V4.1 Flash 1017够用、便宜，速度还更快。 靠专项调优拿到的漂亮跑分，放到真实落地场景里就失去了说服力。 你判断模型实力，更相信定向刷出来的跑分，还是无滤镜的盲测对战？
This post quotes another post: x.com/xiax0603/status/2114279934080524657
x.com/xiax0603/status/2114291056410013901Archived 2026.10.26 12:05