deepseek-v4.1IMAGE

RTX 5090 单卡加 256GB 内存跑 DeepSeek V4.1 Flash：约 31 tok/s

在 Windows 上用 RTX 5090 加 256GB 内存运行约 340GB 的 Maya-S 量化版，生成约 31 tok/s（峰值 35），关键是关闭 --mmap-experts 后从 7.7 提升到 25 tok/s，AVX512 并未带来提速。

stou

@Stou_17 天前收录原推发布于 2026.10.24

RTX 5090 单卡加 256GB 内存跑 DeepSeek V4.1 Flash：约 31 tok/s

stou @Stou_1原推发布于 2026.10.24

在 X 上打开原推

DeepSeek-V4.1-Flash（約 340GB、Maya-S）を RTX 5090 1 枚＋RAM 256GB の Windows 機で動かして、生成約 31 tok/s（速いときは 35）。Project Maya v1.1.25。効いたのは --mmap-experts off（7.7→25 tok/s）と、Q8_BATCH・AVX2 の 2 つの環境変数。 AVVX512を使えば早くなると思っていたけど違った

x.com/stou_1/status/2113776800400883939采集于 2026.10.24 12:06