DeepSeek V4.1 Flash 1017 GGUF at 1.75–2.25 bit claims 12GB single-GPU runs

Larry 🍀 Orbi @xqliuOriginally posted 2026.10.26

Open original on X

卧槽，7632 亿参数的 MoE，作者说一张 12 GB 显存的卡就能跑。 这是 IST 的 DASLab 给 DeepSeek-V4.1-Flash-1017 做的 GGUF 量化，分三档：平均每个权重 1.75、2.00、2.25 bit。10 月 23 号才发，下载已经 41 万多次。 普通量化一刀切，所有权重张量用同一种精度。这套给每个张量单独选：先用梯度搜一遍，看哪个张量更敏感，在总大小的预算内，敏感的多给几位，不敏感的少给几位。 模型每层 384 个专家，每个 token 只用其中 6 个。参数几乎都在专家身上，省下的空间也主要从专家那里抠。精度按层分配，没细到每个专家，因为 GGUF 表达不了那么细。 让我停下来的就是 1.75 bit 这个数。压到这个程度还剩多少本事，我是真想知道。自己跑的话，我会先拿 2.25 那档试。 出来的还是标准 GGUF 文件。要单卡 12 GB 跑起来，得配合作者推荐的 Strata。MIT 协议。