Running 428B MiniMax M3.1 Flash locally: 2-bit GGUF at 143.9GB in 150GB RAM
Unsloth's dynamic 2-bit GGUF shrinks M3.1 Flash to 143.9GB (45% smaller than official) while holding 91.5% Top-1 accuracy, runnable in 150GB RAM with setup steps included.
🫨厉害了！428B MiniMax M3.1 Flash本地化，体积小45%，Top-1准确率仍保91.5%！150GB RAM就能跑！ Unsloth Dynamic GGUF 2-bit版本仅143.9GB（官方约252GB，小45%），Top-1准确率锁定91.5%，同尺寸最强开源模型之一，专治Coding与Agent任务。 核心亮点： 🔹2-bit仅143.9GB，1-bit更低至129GB，高保真不塌房 🔹150GB RAM即可跑，16K上下文起步友好 🔹稀疏注意力 + QAT + DSpark，Coding/Agent/多模态全保留 关键步骤： 1️⃣安装 Unsloth Desktop 2️⃣搜索下载 unsloth/MiniMax-M3.1-Flash-GGUF 的 UD-Q2_K_XL 3️⃣加载时设16K上下文 + reasoning_effort: high（temp=1.0, top_p=0.95） 4️⃣需要视觉/加速可额外启用mmproj与DSpark GGUF：https://huggingface.co/unsloth/MiniMax-M3.1-Flash-GGUF 指南：https://unsloth.ai/docs/models/minimax-m3.1-flash 以前只能调API的模型，现在真能塞进自家机器了。 #MiniMax #Unsloth #LocalLLM #GGUF #AI #MoE #AgenticAI #本地部署 #稀宇科技
This post quotes another post: x.com/nft_chen/status/2113513377985388785