vLLM hits 94% of DeepInfer throughput on DeepSeek V4.1 Flash at 131K context
vLLM with Wide-EP and EPLB on 32 GB200s reaches over 94% of DeepInfer's 131K-context decode throughput for V4.1 Flash, beats it by 3.6% at bs256, and breaks down per-GPU cost and break-even utilization.
vLLM 团队把 DeepSeek-V4.1-Flash 的 131K 长上下文 decode 吞吐追到了 DeepSeek 官方数字的 94% 以上。跑的是 32 张 GB200，开了 Wide-EP（DEP32）和 EPLB（专家并行负载均衡），对照对象是 DeepSeek 自己开源、64 卡 EP64DP64 的 DeepInfer bs64 到 bs128 这一段，vLLM 单卡输出 15,129 ~ 21,447 tokens/s/GPU，单流速度大约 168 ~ 236 tokens/s；DeepInfer 同档是 15,738 ~ 22,810，差距 3.9% 到 6%。bs256 时 vLLM 达到 27,261 tokens/s/GPU，比 DeepInfer 的 26,317 还高 3.6% 按区间中段 1.8 万 tokens/s 折算，单卡一小时能吐出 64.8M 输出 token。这些 token 如果全按 DeepSeek 官方闲时价 0.60 美元/1M 卖掉，理论产出价值约 38.8 美元（峰时是 1.20 美元） GB200 现在市场租金约 3.5 ~ 5 美元/小时/卡。卡租按 5 美元算，满载摊到每 100 万输出 token 只有约 0.077 美元，官方闲时挂牌价是它的 7.8 倍。这还没把电费、网络、机架和闲置冗余算进去 门槛也摆在眼前。DEP32 的 NVLink 域至少要 32 张卡，按租金算整套集群一小时就是 112 ~ 160 美元，个人和小团队根本进不来 真正决定能赚多少的是卖价和利用率。卡租按 5 美元/小时算，按官方闲时价卖，利用率维持在 13% 就能打平；打 5 折卖 0.30 美元/1M，平衡点升到 26%；狠打到 2.5 折卖 0.15 美元/1M，就得常年跑到 51% 以上才不亏。第三方能把价格打多低，全看能把 batch 填多满