DeepSeek 开源推理框架 DeepInfer，支持 V4.1 Flash

Ren @Ryrenz原推发布于 2026.10.21

在 X 上打开原推

🏭 自家线上流量都靠它扛，DeepSeek 把推理框架 DeepInfer 开源了 10 月 16 日才建的仓库，四天就 7300 多 star、600 多个 fork。 自己部署大模型最难受的，是从「能跑起来」到「扛得住真实流量」中间那一大段：算子要调、专家并行要均衡、调度要异步，采样还得可复现。以前这些得自己一块块拼，拼完也不敢保证线上稳。DeepInfer 直接把 DeepSeek 内部验证过的那套摊开了——MoE 专家并行加 EPLB 负载均衡、SWA 受限重放、异步调度、批次不变推理和确定性采样，连结构化输出都在里面。 底层是基于 vLLM 构建的，文档里也写明受 SGLang 和 TensorRT-LLM 启发，目前支持 DeepSeek-V4.1-Flash，NVIDIA SM100 GPU 和华为 Ascend 950 NPU 都能跑，Apache 2.0 许可。要说清楚的是，完整的线上服务还需要 KV 缓存系统、预填充与解码分离这些组件，这次没放进来。 推理这块的工程细节，终于不用全靠猜了。 GitHub：https://github.com/deepseek-ai/DeepInfer