deepseek-v4.1IMAGE
BRRR 方案:V4.1-Flash 在 RTX PRO 6000 Max-Q 上解码 669 tok/s
用 fraserprice 的 BRRR 配方(b12x vLLM 融合解码 kernel),batch 1 解码 669 tok/s,每步 9ms,TTFT 174ms,11K 预填。
Dataphile
@Dataphil33 天前收录原推发布于 2026.10.26

Dataphile @Dataphil3原推发布于 2026.10.26
@deepseek_ai V4.1-Flash at 669 tok/s decode, batch 1, on @nvidia RTX PRO 6000 Max-Q cards. @fraserpricee's BRRR recipe: fused decode kernels on b12x vLLM. 9 ms per step, 174 ms TTFT, 11K prefill. Recipe: https://github.com/fraserprice/DeepSeek-4.1-Flash-1017-BRRR Run: https://www.localmaxxing.com/runs/cmvoeshfj01ybng018exqqvw5 #LocalLLM
x.com/dataphil3/status/2114488331337703852采集于 2026.10.26 12:03