同模型换 Harness：Terminal-Bench 2.0 上成功率相近但 token 差 40%

高静宇 | AI 落地 @jamesgao_ai原推发布于 2026.10.24

在 X 上打开原推

同样的 DeepSeek 模型，换个 Harness，差距有多大？ 有人用 DeepSeek-V4.1-Flash-1017，在 Terminal-Bench 2.0 上对比了三套 Harness，20 个任务各测两轮。 结果挺有意思： 任务成功率： • Claude Code：75% • Hermes：75% • DeepSeek Harness：70% 统计上没有显著差异。 但执行成本差别不小： • 输入 Token：Claude Code 2321 万，DeepSeek Harness 3868 万，前者少约 40% • 工具交互：Claude Code 平均 18 轮，DeepSeek Harness 29 轮 • 整批执行：DeepSeek Harness 最快，但 Claude Code 受到服务端缓存问题影响，速度对比并不完全公平 同一个模型，Harness 没有拉开任务成功率，却明显改变了 Token 消耗和执行方式。 看来 Coding Agent 的竞争，不只是模型的竞争。 大家实际体验呢？同一个模型，换不同 Harness，效果差异大吗？