DeepSeek V4.1 Flash on a 128GB Mac: 1.75-bit quant at 50–76 tok/s
Sushi-STQ-1.75bpw compresses the 260B+ multimodal V4.1 1017 to 1.75 bits; on a 128GB Mac it decodes at 50–76 tok/s with 92/100 tool-calling, but needs 96GB+ RAM and 400GB SSD.
Mac能跑dsvf4.1 1017了。 不过先别激动，这套方案的硬件门槛非常高：至少需要 96G甚至128G 统一内存，固态硬盘还得腾出 400G 以上的空间，主流的 16G/32G Mac 完全跑不动。 HuggingFace 刚放出的 Sushi-STQ-1.75bpw，把 260B+ 参数的多模态 DeepSeek 1017压缩到了 1.75 bit。核心不是模型本身，而是它背后的运行机制： 硬件门槛极其明确： 不支持 Ollama，不支持 llama.cpp，更别提 PC 和 N 卡。只能走 Apple Silicon 专用的 Sushi 引擎。 内存底线 96G（分配 80G 缓存），推荐 128G（分配 108G 缓存）。64G 及以下设备无法运行，连常驻的骨干网络都放不下。 存储占用非常庞大： 单模型体积达到 332.1 GB（120G 核心权重 + 189G 的 Engram 查表）。 SSD 没留出 400G 以上空闲空间的基本下不下来。 实际速度和精度确实可用： 运行方式是“主干常驻内存 + 384 个 MoE 专家从高速 SSD 实时流式读取”。 在 128G Mac 上专家缓存命中率达到了 99.6%，实测解码速度 50~76 tok/s，100万长上下文可以正常运行。 代码和数学的精度保留很好，Tool-calling 跑了 92/100；长篇小说和发散创作能看出一些量化退化。 说白了，这不是给日常轻量使用的，而是把统一内存与高速 SSD 带宽利用到极致的方案。 手里正好有 128G Mac Studio 或 M Max 顶配机器的可以试试，这确实是目前本地离线跑通百万上下文多模态大模型的一个可行方案。