deepseek-v4.1IMAGE
SGLang matches DeepInfer throughput on DeepSeek V4.1 Flash
LMSYS benchmarked SGLang against DeepSeek's own DeepInfer engine on V4.1 Flash: up to ~1.04x prefill and ~7.4% faster decode steps on 64x GB300, with built-in KV cache and P-D disaggregation.
Qwen AI Fans
@QwenAIFansArchived 5 days agoOriginally posted 2026.10.25
Qwen AI Fans @QwenAIFansOriginally posted 2026.10.25
⚡️ DeepSeek 开源自家引擎才几天，开源栈就把官方吞吐摸平了 LMSYS 的 SGLang 用 DeepInfer 自己的基准、同一套硬件对打 DeepSeek-V4.1-Flash： • Prefill：最高约 1.04×（4×GB300 / 4×B300） • Decode：64×GB300 上单步最多快约 7.4% • DeepInfer README 缺的 KV 缓存 / P-D 分离 / 多副本负载均衡，SGLang 本来就有 普通人听法：神秘生产引擎摊开后，自建也能摸到官方同级吞吐。千问用户日常也踩同一套 vLLM / SGLang——下一轮部署，比的同样是谁先吃进新算子。 来源：LMSYS Org👇 https://www.lmsys.org/blog/2026-10-24-dsv41-deepinfer/
x.com/qwenaifans/status/2114185892420038801Archived 2026.10.25 12:00