DeepSeek 开源推理框架 DeepInfer，当前支持 V4.1-Flash

链上码农 @coder_onchain原推发布于 2026.10.26

在 X 上打开原推

⚡ 大模型服务如何同时兼顾吞吐量和响应速度？DeepSeek 开源的 DeepInfer，提供了一份来自生产实践的参考。 DeepInfo是支撑 DeepSeek 大规模生产服务的高性能推理框架，本次开放版本提供离线推理，当前支持 DeepSeek-V4.1-Flash。 作为开源大模型的扛把子，DeepInfer几个值得关注的能力： • 🚀 集成 FlashMLA、DeepGEMM、DeepEP 等优化组件 • 🧩 支持多卡并行、MoE 专家并行与专家负载均衡 • ⏩ 通过 DSpark 草稿生成与验证机制加速解码 • 🔄 让 CPU 调度与设备计算重叠，减少等待 • 📋 支持 JSON Schema 等结构化输出约束 部署门槛也很明确：目前支持 NVIDIA SM100 GPU 和华为昇腾 950 NPU，更适合研究大规模推理系统的开发者。 完整在线服务所需的 KV Cache 系统、阶段解耦部署及跨副本负载均衡，仍需自行补齐。 项目采用 Apache 2.0 许可。想研究模型服务背后的算子、并行与调度优化，这个仓库值得看。 🔗 GitHub：https://github.com/deepseek-ai/DeepInfer