deepseek-v4.1IMAGE

双 V100 32GB 本地跑 V4.1 Flash：换 CPU 后解码超 20 tok/s

在 2×Tesla V100 32GB、96GB 内存的服务器上把 CPU 换成 Ryzen 9 5900XT 后，340GB 权重的 Maya-S 量化解码突破 20 tok/s。

pirosap

@pirosap2 天前收录原推发布于 2026.10.26

双 V100 32GB 本地跑 V4.1 Flash：换 CPU 后解码超 20 tok/s

pirosap @pirosap原推发布于 2026.10.26

老いるというのはたかがAM4のCPU換装に4時間かかることですが、Tesla V100 32GB×2、RAM 96GB、Optane P4800XのローカルLLMサーバのCPUをRyzen 5 3600からRyzen 9 5900XTにしてみたら、DeepSeek-V4.1-Flash-1017のMaya-S、重み340GBでもDecodeは20t/sを超えてくるぐらいになりました快適

x.com/pirosap/status/2114736056197382382采集于 2026.10.27 12:10