本地部署POST
llama.cpp 支持 V4.1 Flash，但最小量化仍 246 GiB
上游 llama.cpp b11870 已支持 DeepSeek V4.1 Flash；作者实测最小可用社区 GGUF（Q2_K）要 246.3 GiB，128 GB 显存跑不动，并提醒部分 fork 的 GGUF 不通用。
Wayne Lowry
@wikiwayne12 小时前收录原推发布于 2026.10.27
Wayne Lowry @wikiwayne原推发布于 2026.10.27
DeepSeek V4.1 Flash support landed in upstream llama.cpp (b11870). Bad news for my GX10: the smallest working community GGUF I found (Q2_K) is 246.3 GiB. I have 128 GB. Math says no. 552B MoE, 8B active on prefill, 16B on decode. Gotcha: some fork GGUFs aren't interchangeable.
x.com/wikiwayne/status/2115005581702402202采集于 2026.10.28 12:04