Coding agents can't be judged by benchmarks alone; harness and cheap reliable delivery matter

Ivan @thebitcodeOriginally posted 2026.10.20

Open original on X

DeepSeek V4.1 Flash 更新后，跑分确实很亮眼。 但我越来越觉得，Coding Agent 已经不能只看模型排行榜了。 同一个模型，放进不同的 Agent Harness，工具调用、上下文管理、任务规划、错误恢复都不一样，最终能完成多少工作，可能差得很远。 更现实的是，开发者对一个 Coding Agent 的信任，是在一次次真实任务中积累的。 它能不能理解整个仓库？改完代码会不会破坏其他模块？遇到错误能不能自己发现并修复？执行十几步后还能不能记住最初的目标？ 这些问题，不是跑分高几个百分点就能回答的。 所以我觉得 DeepSeek 真正的机会，不只是证明模型比谁更聪明，而是让开发者用更低的成本，完成同样可靠的任务。 未来 Coding Agent 的竞争，可能不是谁的模型最强，而是谁能以更低的成本，稳定交付正确的结果。