deepseek-v4.1POST

DeepSeek V4.1 Flash across harnesses: similar Terminal-Bench 2.0 pass rates, 40% fewer input tokens

A 20-task, two-round Terminal-Bench 2.0 test of DeepSeek-V4.1-Flash-1017 found Claude Code and Hermes at 75% and DeepSeek Harness at 70%, while Claude Code used ~40% fewer input tokens and 18 tool turns vs 29.

高静宇 | AI 落地

@jamesgao_aiArchived 8 days agoOriginally posted 2026.10.24

高静宇 | AI 落地 @jamesgao_aiOriginally posted 2026.10.24

Open original on X

同样的 DeepSeek 模型，换个 Harness，差距有多大？有人用 DeepSeek-V4.1-Flash-1017，在 Terminal-Bench 2.0 上对比了三套 Harness，20 个任务各测两轮。结果挺有意思：任务成功率： • Claude Code：75% • Hermes：75% • DeepSeek Harness：70% 统计上没有显著差异。但执行成本差别不小： • 输入 Token：Claude Code 2321 万，DeepSeek Harness 3868 万，前者少约 40% • 工具交互：Claude Code 平均 18 轮，DeepSeek Harness 29 轮 • 整批执行：DeepSeek Harness 最快，但 Claude Code 受到服务端缓存问题影响，速度对比并不完全公平同一个模型，Harness 没有拉开任务成功率，却明显改变了 Token 消耗和执行方式。看来 Coding Agent 的竞争，不只是模型的竞争。大家实际体验呢？同一个模型，换不同 Harness，效果差异大吗？

x.com/jamesgao_ai/status/2113744836792869303Archived 2026.10.24 12:07