deepseek-v4.1IMAGE

DeepSeek V4.1-Flash-1017 underperforms the earlier V4.1 Flash on Terminal-Bench 4.0

Testing Terminal-Bench 4.0 in both DSH and opencode, the author finds the 1017 build trails the pre-update V4.1-Flash in both harnesses, suspects the model itself, and plans to re-run via the official API.

金のニワトリ

@gosrumArchived 4 days agoOriginally posted 2026.10.25

DeepSeek V4.1-Flash-1017 underperforms the earlier V4.1 Flash on Terminal-Bench 4.0

金のニワトリ @gosrumOriginally posted 2026.10.25

Open original on X

ただ実はいうと、DeepSeek V4.1-Flash-1017 は手元のTerminal-Bench 4.0 の結果ではアップデートされる前の DeepSeek V4.1-Flash に負けているのだ...！！ハーネスが違うのが原因かと思って、DSHとopencode両方で検証したが、結果を見るとどうもモデル側に原因がありそうということがわかった正直私も DeepSeek V4.1-Flash-1017 はもっと高みを目指せると信じたいので、DeepSeek 公式のAPIを使って追試しようと考えている従量課金のAPIを使うことから数十ドルはかかるベンチマーク評価になると思うので、結果によってはサブスク限定で共有することになるかも（意訳：ご支援いただけると嬉しいです）

This post quotes another post: “Is opencode's DeepSeek V4.1 Flash degraded by quantization?”

x.com/gosrum/status/2114325107284078723Archived 2026.10.26 12:05