deepseek-v4.1IMAGE
llama.cpp adds native DeepSeek V4.1 Flash support for local inference
Native llama.cpp support removes the third-party patch; rough memory math puts 1-bit quants on 128GB machines, 3-bit on a 256GB Mac Studio, and 4-bit-plus at just over 300GB.
鸡骑猫
@mspd4100Archived 6 days agoOriginally posted 2026.10.25

鸡骑猫 @mspd4100Originally posted 2026.10.25
等等,DeepSeek V4.1 Flash 能直接用 llama.cpp 本地跑了!!! 原生支持,不用再打第三方补丁 那如果搞台 RTX Spark 或者 Mac Studio 呢? · 128GB 的 RTX Spark、DGX Spark、MacBook:能跑 1-bit 量化 · 256GB 的 Mac Studio:能上 3-bit · 4-bit 以上要 300GB 出头
x.com/mspd4100/status/2114183477205893179Archived 2026.10.25 12:00