WHAT NEW IN X10.31 SAT

X 上的 AI 合集档案 · 22 个合集 · 61,986 条

deepseek-v4.1IMAGE

SGLang 对打 DeepInfer:V4.1 Flash 吞吐基本持平

LMSYS 用 DeepSeek 自家基准测 SGLang 跑 V4.1 Flash:Prefill 最高约 1.04×,64×GB300 上 Decode 单步快约 7.4%,且自带 KV 缓存与 P-D 分离。

Qwen AI Fans
@QwenAIFans5 天前收录原推发布于 2026.10.25
SGLang 对打 DeepInfer:V4.1 Flash 吞吐基本持平
Qwen AI Fans @QwenAIFans原推发布于 2026.10.25
在 X 上打开原推

⚡️ DeepSeek 开源自家引擎才几天,开源栈就把官方吞吐摸平了 LMSYS 的 SGLang 用 DeepInfer 自己的基准、同一套硬件对打 DeepSeek-V4.1-Flash: • Prefill:最高约 1.04×(4×GB300 / 4×B300) • Decode:64×GB300 上单步最多快约 7.4% • DeepInfer README 缺的 KV 缓存 / P-D 分离 / 多副本负载均衡,SGLang 本来就有 普通人听法:神秘生产引擎摊开后,自建也能摸到官方同级吞吐。千问用户日常也踩同一套 vLLM / SGLang——下一轮部署,比的同样是谁先吃进新算子。 来源:LMSYS Org👇 https://www.lmsys.org/blog/2026-10-24-dsv41-deepinfer/

x.com/qwenaifans/status/2114185892420038801采集于 2026.10.25 12:00