DeepInfer supports Blackwell and Ascend 950; V4.1 Flash cluster hits 155T tokens/day

Compute King @Compute_KingOriginally posted 2026.10.21

Open original on X

果然还是梁圣！DeepInfer这个开源厉害了，工程师们得好好消化一下。 两点： 1，DeepInfer同时支持英伟达SM100（Blackwell）和华为昇腾950，而且是在相对统一的软件框架下适配。对于国内工程师而言，这意味着同一套部署和调优逻辑，理论上可以在两种算力底座之间迁移，迁移成本被显著抹平。 2，按照梁圣的披露：今天，我们正式开源大规模云服务推理框架 DeepInfer。 基于这一框架，我们已实现 DeepSeek V4.1 Flash 的高吞吐、低延迟大规模推理服务。目前单一集群的服务吞吐是 155 万亿 Tokens/天，整体收入是每卡每小时 38 美金（按谷价）。 这是啥概念？好的，换成人话，一台八卡的B300每个月的回报超过了22万美金。 好吧，B300还是卖得太便宜了，这是三个月回本的节奏。

This post quotes another post: “DeepSeek open-sources DeepInfer, the inference framework behind V4.1 Flash”