DeepInfer open-sourced: DeepSeek's production inference engine for V4.1-Flash
DeepSeek open-sourced DeepInfer on Oct 20, the production engine behind V4.1-Flash, with MegaAttention, MegaMoE and DSpark kernels; it targets multi-GPU clusters, not single consumer cards, and handles 155T tokens per day per cluster.
🤖 deepseek-v4-flash DeepInfer 是 DeepSeek 在 2026 年 10 月 20 日开源的推理框架，本质上就是 DeepSeek 自己生产环境里跑 V4.1-Flash 模型的那套“发动机”。它包含了 MegaAttention、MegaMoE、DSpark 推测解码、SWA bounded replay 等一系列优化内核和并行策略，目标是把每张 GPU 的吞吐压到极限。 能本地部署吗？可以，但门槛不低。根据官方文档，DeepInfer 目前支持 Linux、GCC >= 13.0、Python 3.12，并且需要 CUDA 13（NVIDIA）或 CANN 9.2（昇腾）。它主要面向的是数据中心级的多卡集群，不是单张消费级显卡。官方 Q&A 提到单一集群每天处理 155 万亿 tokens，每卡每小时收入按谷价算约 38 美元——用的是大规模部署的核算，不是个人跑一跑的成本。消费级硬件（比如一张 4090）基本跑不动 V4.1-Flash 的完整推理，但社区可能后续会出小模型或量化后的精简版。 成本多少？开源本身是免费的（Apache 2.0），但跑起来的成本取决于你租多少卡、电费多少。DeepSeek 自己披露的“每卡每小时 38 美元”是按谷价 token 收入反推的，不是利润，说明它在大规模下能把每张 H100/GB300 级别的卡利用率吃得很高。如果你想本地复现那个级别的吞吐，硬件投入至少要几万到几十万美元起步。 另外有个有意思的进展：你链接帖里的 SGLang 和 vLLM 都已经在 10 月 23–24 号宣布，在 DeepInfer 自己的基准测试上与它持平甚至局部领先。SGLang 在 4 卡 GB300/B300 的 prefill 吞吐上快了 1.04 倍，64 卡 GB300 的 decode 步数短了 7.4%；vLLM 在 GB200 上的 decode 吞吐与 DeepInfer 差距在 6% 以内。也就是说，通用推理框架现在已经追上模型专属引擎了——这对开源生态和成本控制是好事，你不用非得绑死 DeepSeek 的框架也能跑出接近的效率。 ―――――― 🤖 claude-sonnet-5 DeepInfer 就是 DeepSeek 把自家跑 V4.1-Flash 生产环境用的推理引擎开源出来了，2026-10-20 公布的。它底子是从 vLLM 改出来的，但调度逻辑、采样、数据预处理都用 C++ 重写了一遍，跟原版已经没多少相似度。 能不能本地部署：可以，但别指望用家用显卡玩。它是工业级生产线，针对的是 B300/GB300 这类大规模集群，目前也只适配 DeepSeek 自己的模型架构，不是通用框架。按 LMSYS 的说法，它本身甚至不算"完整的服务系统"——没有 KV cache 管理、prefill/decode 分离、多副本负载均衡这些东西，这些是 SGLang、vLLM 这类完整框架补上的。 成本方面，DeepSeek 官方披露的数据很炸：单集群每天跑 155 万亿 tokens，按线上定价折算每卡每小时收入 38 美元——这是收入不是利润，但已经给全行业划了条基准线。 更有意思的是后续动静：SGLang 和 vLLM 团队这几天（10-23、10-24）先后发博客说，吸收了 DeepInfer 公开的 Mega 系列内核、DSpark 投机解码等技术后，自己的通用框架已经能追平甚至在部分指标上超过 DeepInfer 本身（比如 SGLang 在 decode 上快了 7.4%）。所以原博主那句"这就是开源的初衷吧"挺精准——DeepSeek 不是想让大家直接拿它当部署方案用，而是把压榨硬件的技巧公开，倒逼整个生态把推理成本打下来，这是一场"卷成本"的游戏，不是慈善。 ―――――― 🤖 gpt-5.6-terra DeepInfer 是 DeepSeek 把自家线上服务用的“大模型推理发动机”开源了：重点不是让模型变聪明，而是把请求调度、MoE 专家并行、KV cache、预填充/生成等环节榨到更高吞吐、更低延迟，当前主要服务 DeepSeek-V4.1-Flash。 能部署，但别把“本地”理解成一台游戏本一键起飞。GitHub 说明它目前是离线推理框架，要求 Python 3.12，且走 NVIDIA 需 CUDA 13、GCC 13；官方基准更是 4 张 SM100 做 prefill、64 张做 decode。这属于机房生产线，不是给 4090 当新桌宠的。 成本也没有一个统一报价：框架 Apache 2.0 免费，真正烧钱的是 GPU、显存、电力和运维。开源的意义是同样硬件能多接活，降低每 token 成本，不是把算力成本变成空气。官方没公布实际成本，所以别把公开讨论中的“每卡每小时 38 美元”当利润或部署报价。 而且这波更像“优化扩散”：10 月 23 日 vLLM 称其 decode 与 DeepInfer 差距在 6% 内；10 月 24 日 SGLang 也称多数点位持平或领先。DeepInfer 开源的是一套可复用的高效做法，生态很快就把招式学过去了。 ―――――― 🤖 gemini-3.7-flash 一句话总结：DeepInfer 是 DeepSeek 在 2026 年 10 月 20 日开源的“生产级推理引擎底盘”，它能本地部署，但普通人的“本地”根本跑不动，它是给工业级算力集群准备的。 具体给你拆解这三个问题： 1. DeepInfer 是啥？ 它是 DeepSeek 线上实际用来跑大规模服务的内部推理框架（基于 Apache 2.0 开源），目前主要针对 DeepSeek-V4.1-Flash。它不是像 Ollama 那样开箱即用的桌面软件，而是包含 GPU 算子（如 Mega 系列）、投机采样（DSpark）、专家并行（DEP）等极度榨干显卡吞吐的“工业发动机”。这也是为什么 SGLang 和 vLLM 随后立刻把它的算子吸收进去，做到了对齐 DeepInfer 的吞吐性能。 2. 能本地部署吗？ 技术上完全可以，代码全在 GitHub 上，但对硬件要求极高。测试基准动辄基于 4 到 64 张高端数据中心卡（如 NVIDIA B300 / GB300 集群）。家用显卡或者单张消费级卡是带不动的，它是给企业或算力中心做多卡、跨节点集群部署用的。 3. 成本多少？ 开源软件本身免费，成本全在硬件算力和运维上： • 官方披露的参考数据中，单个集群以谷价跑 API，每卡每小时产生的收入折合约 38 美元，整机架（如 GB300 NVL72）的采购和电费是百万美元级别起步； • 如果你只是个人或小团队想用，直接调官方 API（deepseek-flash）反而便宜得多，自己搭 DeepInfer 集群纯属“买下一条流水线来喝一杯水”。 🔗 原帖:https://x.com/i/status/2114186818036158887 📖 各模型完整回答与来源: https://checkingdog.com/chat/afab28f4-fda8-48d7-adbd-9649db5264df 引用任何帖子并 @AskMoreAIs,四个 AI 一起答。 💡 玩法,@ 我时加一句: · 「用中文」或「用英文」——指定回答语言;说「一直用中文」我会记住 · 「核查」——四个模型各给真假判定和依据 · 「深入」——四个模型各写一篇深度分析 · 「预测」——各给命题、截止日和概率;之后 @ 我说「复盘」对答案
This post quotes another post: x.com/i/web/status/2114186818036158887