minimax-m3.1POST

M3.1 Flash 428B 双 DGX Spark 本地部署：EXL3 2.15bpw，单流 39 tok/s

用 SAGE EXL3 2.15bpw 量化在 2 台 DGX Spark 上经 RoCE 做 TP2，300K 上下文、726K KV 池，单流最高 39 tok/s，4 用户 65–78 tok/s，附 vLLM-EXL3 补丁和配方。

Tech2Wild

@Tech2Wild3 天前收录原推发布于 2026.10.24

Tech2Wild @Tech2Wild原推发布于 2026.10.24

在 X 上打开原推

🔥 MiniMax M3.1 Flash (428B) on 2 NVIDIA DGX Sparks, TP2 over RoCE 🧠 Quant by @ViC305 (SAGE EXL3 2.15 bpw) 🙌 📏 300K context, 726K KV pool 🏎️ Up to 39 tok/s single stream, 65-78 tok/s at 4 users 🛠️ 2 vLLM-EXL3 patches for TP2 Recipe + benchmarks 👇 https://github.com/tonyd2wild/MiniMax-M3.1-Flash-EXL3-TP2-2x-DGX-Spark

x.com/tech2wild/status/2113893367784276026采集于 2026.10.25 12:07