Terminal-Bench 4.0: DeepSeek V4.1 Flash-1017 matches GLM-5.3-Flash at far lower cost
Terminal-Bench 4.0 results on DSH put V4.1 Flash-1017 around GLM-5.3-Flash and Haiku-5.5, above Opus 4.8, at overwhelmingly lower cost, with high reasoning effort recommended.
DeepSeek V4.1 Flash-1017 + DSH の Terminal-Bench 4.0 の評価が完了したので共有する ※ついでに、GLM-5.3, GLM-5.3-Flash (high) 等も追加 ●メモ ・性能的には GLM-5.3 > Haiku-5.5 ≒ GLM-5.3-Flash ≒ DeepSeek V4.1 Flash-1017 ＞Opus 4.8 ・ただし、コストは圧倒的に DeepSeek V4.1 Flash-1017 に安い ・reasoning effort はコスパ重視なら high 推奨。時間やコスト増を気にしないならmaxでも OK ・ハーネスとしては DSH でも opencode でも優位な性能差はなさそうだが、DSHの方が少しコストが高い ●結論 ・DeepSeek V4.1 Flash-1017 は現在のフロンティア級の性能はないものの、1,2世代前のフロンティア級の性能を持ちながら超低コストを実現している ・サブスクの課金額が気になる人は opencode go の$10プラン等に契約してこのモデルを使うと幸せになれそう ・さらにStrata等での最適化も進んでおり、クラウドに依存しなくてもローカルLLMで大半のタスクをこなせる世界観が現実味を帯びてきたといえよう
This post quotes another post: “DeepSeek V4.1 Flash-1017 tested on Terminal-Bench-4.0 in opencode”