deepseek-v4.1POST
Terminal-Bench 2.0 三种 Harness 对比:通过率接近,token 消耗差 1.6 倍
自托管 vLLM 上 Hermes 与 Claude Code 均 75%、DSH 70%;DSH prompt token 是 Hermes 的 1.23 倍,Claude Code 仅 0.74 倍但前缀缓存命中只有 9–11%。
张理壮
@nextaurame1 天前收录原推发布于 2026.10.26
张理壮 @nextaurame原推发布于 2026.10.26
DeepSeek V4.1 Flash 在 Terminal-Bench 2.0 上换三种 harness,通过率几乎没差:Hermes 75%,Claude Code 75%,DSH 70%(20题各跑2次,自托管 vLLM,effort high)。 差别在 token。DSH 的 prompt token 是 Hermes 的 1.23 倍,Claude Code 只有 0.74 倍。 不过 Claude Code 的前缀缓存命中只有 9% 到 11%,走官方 API 的话缓存价能省多少得自己再测。
x.com/nextaurame/status/2114735770518867999采集于 2026.10.27 12:09