今天新增deepseek-v4.1IMAGE
单张 RTX 5090 上 DeepSeek V4.1 Flash prefill 提速 39% 至 1950 t/s
作者把忙碌专家的权重每块只解码一次到 FP16 交给 cuBLAS，使单张 5090 上 prefill 从 1400 提到 1950 t/s（+39%），已提 PR #4366 到 Strata 仓库。
Lyes Sbahi
@lyesbahi7 小时前收录原推发布于 2026.10.28
Lyes Sbahi @lyesbahi原推发布于 2026.10.28
DeepSeek-V4.1-Flash prefill on a single RTX 5090: 1,400 → 1,950 t/s (+39%) 🚀 One idea: stop re-decoding busy experts' weights 3–6× per chunk -decode once to FP16, let cuBLAS do the math. Shipped it upstream to the Strata repo → PR #4366, keen to hear what you think @coldniko
x.com/lyesbahi/status/2115192611656855639采集于 2026.10.28 12:04