DeepSeek V4.1 Flash official benchmarks vs Opus 5: agent wins, HLE gap
A user breaks down official numbers: Terminal-Bench 4.0 31.2→42.3, ProgramBench 20.3→29.1, HLE 36.8→42.6, ahead of Opus 5 on agent tests but behind on HLE (42.6 vs 56.3); his own animation test needed a rerun, took 24 minutes and cost 2 cents less.
DeepSeek, V4.1 Flash için “küçük güncelleme” diye DeepSeek-V4.1-Flash-1017'yi yayınladı. Kendi tablolarına bakınca sıçrama hiç küçük durmuyor. Kendi video animasyon benchmarkımı da ekledim. Benim testime göre animasyonu bir kere daha çalışması gerekti ve 24 dakika sürdü. Ama bu rağmen 2 cent daha ucuza yaptı. Önceki sürüme göre (DeepSeek’in kendi testlerine göre): → Terminal-Bench 4.0 (terminalde gerçek iş yaptırma): 31,2'den 42,3'e çıkmış → ProgramBench (sıfırdan program yazdırma): 20,3'ten 29,1'e → HLE (araçsız, çok zor sorular): 36,8'den 42,6'ya → Aynı işi daha kısa cevaplarla ve daha hızlı bitirdiği söyleniyor, ama bunun için rakam paylaşılmamış Tabloda Opus 5 ve GPT-5.6 Sol da var. → DeepSWE (gerçek yazılım hatalarını çözme), Automation-Bench ve Agents’ Last Exam gibi agent testlerinde Opus 5'in önünde görünüyor → HLE, Terminal-Bench, ProgramBench ve görsel testlerin çoğunda Opus 5 hala açık ara önde (HLE’de 42,6'ya karşı 56,3) → ZeroBench’te GPT-5.6 Sol’un da gerisinde → Terminal-Bench, Claude Code altyapısıyla ölçülmüş. Rakiplerin aynı koşullarda ölçülüp ölçülmediği yazmıyor
This post quotes another post: x.com/deepseek_ai/status/2111375640717033777