DeepSeek open-sources DeepInfer inference engine with default V4.1 Flash support
DeepSeek open-sources DeepInfer, the inference engine behind its production traffic, defaulting to V4.1-Flash-1017 with DSpark speculative decoding, EPLB and support for SM100 and Ascend 950.
01｜deepseek-ai/DeepInfer —— DeepSeek 生产推理引擎开源（本期榜首） 项目简介：DeepInfer is the high-performance inference framework that powers DeepSeek's large-scale production services. 中文一句话：把服务 DeepSeek 自家流量的推理引擎开源了。默认支持 DeepSeek-V4.1-Flash-1017；特性覆盖生产全链路——优化内核（FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect 与自研 TileLang 内核）、并行策略（Attention DP / balanced CP、MoE EP + EPLB）、DSpark 草稿 token + 置信度调度验证（MTP 变长投机解码，默认最大草稿长度 5）、SWA 有界重放（YOCO prefill 截断，默认保留 140 tokens）、零开销异步批调度、批不变推理、确定性采样、结构化输出（regex / JSON schema / EBNF）。硬件双支持：NVIDIA SM100（CUDA 13）与华为昇腾 950 NPU（CANN 9.2）。README 明示基于 vLLM 构建、受 SGLang 与 TensorRT-LLM 启发，基准在 4×SM100 测 prefill、64×测 decode。 技术视角：DeepInfer 是本期评分榜首，理由不只是 5 天 1.2 万星的动量，而是它的身份——头部模型公司第一次把「生产环境同款」推理引擎完整开源。此前推理引擎赛道是社区共创（vLLM / SGLang），模型公司只开源权重；现在 DeepSeek 把 EPLB 专家路由、DSpark 置信度调度、批不变推理这些只在生产环境才打磨得出来的 Know-how 直接公开，等于把「怎么跑得快」的课纲交了底。第二个信号是昇腾 950 与 SM100 并列首发支持：国产算力与旗舰模型引擎同步可用，部署链条第一次闭合成对。同时必须点赞它的诚实——README 明确列出未包含项（KV cache 系统、VE/Prefill/Decode 分离、负载均衡），这是「引擎」不是「完整服务」，生产采用要自建周边。冷判断：目前仅支持 V4.1-Flash 一个检查点，通用性待验证；基准为官方自测 Pareto 图，等第三方复现。 软文速用（139 字）：DeepSeek 把服务自己用户的推理引擎开源了。5 天 12,000+ 星：DSpark 投机解码、批不变推理、结构化输出全套生产特性，NVIDIA SM100 与昇腾 950 双硬件支持。基于 vLLM 构建，Apache-2.0。想看懂头部模型公司怎么跑推理，看这个仓库。 #DeepSeek #推理引擎 #AIInfra #开源基础设施 项目链接：https://github.com/deepseek-ai/DeepInfer https://x.com/ChinaAIDaily/status/2112905938633957785?s=20
This post quotes another post: x.com/chinaaidaily/status/2112905938633957785