DeepSeek open-sources DeepInfer inference framework, limited to V4.1 Flash and specific chips
DeepSeek released DeepInfer under Apache-2.0, saying it powers high-throughput, low-latency inference for V4.1 Flash, but reports say it only runs that model on Nvidia SM100 or Ascend 950 and covers offline inference only, without KV cache or prefill/decode separation.
DeepSeek 将支撑其线上服务的推理框架 DeepInfer 以 Apache-2.0 许可开源，代码托管在 GitHub，并同步开源 Token 编解码组件 deepseek-recipe（MarkTechPost 称其采用 MIT 许可）。官方称该框架已用于 DeepSeek-V4.1-Flash 的高吞吐、低延迟推理，开源旨在帮助社区降低算力成本与能耗；IT之家称其兼容英伟达与华为昇腾平台。 开源范围存在限制。Rohan Paul 称该版本只运行 DeepSeek-V4.1-Flash，限于英伟达 SM100 GPU 或华为昇腾 950 芯片，覆盖离线推理而非完整服务栈，未包含 KV cache 系统、prefill 与 decode 分离及多副本负载均衡；MarkTechPost 同样称其为离线推理，并列出构建需 Linux、GCC 13 以上、Python 3.12，以及 CUDA 13 或 CANN 9.2。 Yuchen Jin 引述 DeepSeek 公布的运营数据：单集群日吞吐 155 万亿 token，按非高峰价格计算每 GPU 小时收入 38 美元。他称 DeepSeek 未披露所用 GPU，并按其假设的 B300 租赁价估算毛利率约 82%。