Unsloth packs MiniMax M3.1 Flash into a 2-bit GGUF at ~144GB for 150GB-RAM local runs
Unsloth's 2-bit dynamic GGUF shrinks the 428B MoE MiniMax M3.1 Flash to about 144GB with 91.5% top-1 token agreement in its own eval, runnable on 150GB of RAM.
Un modelo de 428 mil millones de parámetros suena a sala de servidores con aire acondicionado industrial. Unsloth acaba de meter MiniMax M3.1 Flash en un GGUF de 2 bits: queda en unos 144 GB y, según su propia evaluación, conserva 91,5% de acierto en el token principal. Con 150 GB de RAM lo corres en casa. Sigue siendo una máquina seria, nada de laptop. Pero para un estudio chico que no quiere mandar su código ni sus assets a la nube, ese número abre una puerta que hace un año tenía candado. Lo local avanza a paso firme, y para los equipos pequeños es la mejor noticia de la semana. #MiniMax #Unsloth #LocalLLM
This post quotes another post: “Unsloth releases 2-bit GGUF for MiniMax M3.1 Flash: runs on 150GB RAM”