deepseek-v4.1IMAGE
DeepSeek V4.1 Flash on dual V100 32GB: decode passes 20 tok/s after CPU upgrade
On a dual Tesla V100 32GB, 96GB RAM server, swapping in a Ryzen 9 5900XT pushed the 340GB Maya-S quant of V4.1 Flash past 20 tok/s decode.
pirosap
@pirosapArchived 2 days agoOriginally posted 2026.10.26
pirosap @pirosapOriginally posted 2026.10.26
老いるというのはたかがAM4のCPU換装に4時間かかることですが、Tesla V100 32GB×2、RAM 96GB、Optane P4800XのローカルLLMサーバのCPUをRyzen 5 3600からRyzen 9 5900XTにしてみたら、DeepSeek-V4.1-Flash-1017のMaya-S、重み340GBでもDecodeは20t/sを超えてくるぐらいになりました 快適
x.com/pirosap/status/2114736056197382382Archived 2026.10.27 12:10