deepseek-v4.1IMAGE
Terminal-Bench 4.0:V4.1-Flash-1017 反而不如旧版
作者在 DSH 与 opencode 两个 harness 上复测 Terminal-Bench 4.0,1017 版均落后于更新前的 V4.1-Flash,判断问题在模型侧,计划用官方 API 追试。
金のニワトリ
@gosrum3 天前收录原推发布于 2026.10.25

金のニワトリ @gosrum原推发布于 2026.10.25
ただ実はいうと、DeepSeek V4.1-Flash-1017 は手元のTerminal-Bench 4.0 の結果ではアップデートされる前の DeepSeek V4.1-Flash に負けているのだ...!! ハーネスが違うのが原因かと思って、DSHとopencode両方で検証したが、結果を見るとどうもモデル側に原因がありそうということがわかった 正直私も DeepSeek V4.1-Flash-1017 はもっと高みを目指せると信じたいので、DeepSeek 公式のAPIを使って追試しようと考えている 従量課金のAPIを使うことから数十ドルはかかるベンチマーク評価になると思うので、結果によってはサブスク限定で共有することになるかも(意訳:ご支援いただけると嬉しいです)
这条是引用着另一条写的:「opencode 上的 V4.1 Flash 是否被量化降智?」
x.com/gosrum/status/2114325107284078723采集于 2026.10.26 12:05