deepseek-v4.1POST
V100 32GB 双卡跑 DeepSeek V4.1 Flash：解码 17.37 tok/s
在双路 2650v2、512GB DDR3 的老平台上实测：V100×2 解码 17.37 tok/s、预填充 256.29 tok/s；V100×3 提升到 26.05 与 393.53 tok/s，作者怀疑受 AVX1 限制。
dextune
@dextune5 天前收录原推发布于 2026.10.25
dextune @dextune原推发布于 2026.10.25
DeepSeek V4.1 Flash 1017 w/ Nvidia V100 32GB CPU : 2650v2 x 2 RAM : DDR3 512GB V100 × 2 Decode 17.37 tps Prefill 256.29 tps V100 × 3 Decode 26.05 tps Prefill 393.53 tps Feels like it could push a bit more TPS. Is it bottlenecked by AVX1? Solid attempt though.
这条是引用着另一条写的：「三张 V100 加 DDR3 跑 V4.1 Flash IQ2 量化：解码 26 tok/s」
x.com/dextune/status/2114153552558092776采集于 2026.10.25 11:59