三张 V100 加 DDR3 跑 V4.1 Flash IQ2 量化：解码 26 tok/s

SOKOSOKO LIGHT GEAR @yama_boku原推发布于 2026.10.25

在 X 上打开原推

V100（32GB）×3、2650v2×2、DDR3（512GB）の貧困3点セット（AVX1、PCIe3.0、DDR３の三重苦）で DeepSeek-V4.1-Flash-1017-GSQ-RCO-IQ2_XXS を回してみました、結果 V100（32GB）×2 Decode 17.37tok/s Prefill 256.29tok/s V100（32GB）×3 Decode 26.05tok/s Prefill 393.53tok/s 3枚だとギリ許容範囲で動くと言っていい気がします、遅いですけどね 今回の推論エンジンはStrataを動くようにしただけの物とProject Mayaをベースに三重苦用に出来る限りの最適化を施した物を比較したのですが 結果、ハードウェア最適化は効きますね、メインモデルにはやった方がよさそうです、ただ、Codex100＄の週次半分は覚悟しておいてください 意図を取り違えられると困るんですが、どちらもStrataベースだし、私はフロンティアにハードウェアへの最適化を適当に投げただけなのでStrataが凄いんです、三重苦でも動く事に感謝