deepseek-v4.1POST
DeepSeek V4.1 Flash on Terminal-Bench 2.0: similar pass rates, 1.6x token gap across harnesses
On self-hosted vLLM, Hermes and Claude Code both hit 75% and DSH 70%; DSH uses 1.23x Hermes prompt tokens while Claude Code uses 0.74x but caches only 9–11% of prefixes.
张理壮
@nextaurameArchived 1 day agoOriginally posted 2026.10.26
张理壮 @nextaurameOriginally posted 2026.10.26
DeepSeek V4.1 Flash 在 Terminal-Bench 2.0 上换三种 harness，通过率几乎没差：Hermes 75%，Claude Code 75%，DSH 70%（20题各跑2次，自托管 vLLM，effort high）。 差别在 token。DSH 的 prompt token 是 Hermes 的 1.23 倍，Claude Code 只有 0.74 倍。 不过 Claude Code 的前缀缓存命中只有 9% 到 11%，走官方 API 的话缓存价能省多少得自己再测。
x.com/nextaurame/status/2114735770518867999Archived 2026.10.27 12:09