Humming kernels lift DeepSeek V4.1 Flash throughput 14–43% on 8 H20 GPUs

gKev1n @GKev1nOriginally posted 2026.10.21

Open original on X

同一个 DeepSeek，同样 8 张 H20，换个内核吞吐多 43%？？？ 蚂蚁集团和 vLLM 社区今天开源了 Humming，一个专门跑量化推理的内核库。以前 W4A16、W8A8、MXFP4 这些格式，基本一种格式就要手写一套 CUDA 内核。Humming 把"权重怎么量化"和"在哪张卡上怎么算"拆开，按需现场编译，单个 W4A16 内核的编译时间从 CUTLASS 的 23.35 秒降到 1.82 秒。 端到端数字是这样：DeepSeek-V4.1-Flash 跑在 8 张 H20 上，MoE 部分从 Marlin W4A16 换成 Humming W4A8，吞吐涨了 14% 到 43%，并发越高涨得越多，首 token 延迟也降了三成左右。 vLLM 0.29.0 起 CUDA 版已经自带，加 --moe-backend humming 就能试。除了 Turing 以后的 N 卡，它还支持平头哥的真武 810E。 这些都是官方跑分，自己部署的兄弟测完回来报个数 ⬇️

This post quotes another post: x.com/vllm_project/status/2112760256120197333