deepseek-v4.1THREAD
Unsloth releases DeepSeek V4.1 Flash GGUF: 1-bit build for 128GB machines at 82.8–85.1% agreement
The UD-IQ1_S quant targets 128GB devices like DGX Spark, matching the original model 82.8–85.1% of the time, with a 110.6GB Engram table on SSD and a custom llama.cpp PR build required.
HiMorishige
@_himorishigeArchived 11 days agoOriginally posted 2026.10.20
THREAD
Unsloth版のGGUFも出ていますね。DGX Sparkなど128GB機向けの1-bit版（UD-IQ1_S）は、元のモデルとの予測一致率が82.8〜85.1%（評価データ2種）。110.6GBのEngram表はSSDに置く方式で、メモリの余裕は少なめ。llama.cppは専用PRのビルドが必要とのこと。 https://unsloth.ai/docs/models/deepseek-v4.1-flash
DeepSeek-V4.1-Flash-1017をDGX Spark 1台に載せる約113.6GBの変換版。同じ手順の旧V4.1版では、元のモデルと次の語の予測が一致した割合は分野別に69〜79%とのこと。小さくする分の精度低下はあるので、1017版での計測結果を待ちたいところ。 https://huggingface.co/Baekpica/DeepSeek-V4.1-Flash-1017-VQ-GGUF
HiMorishige @_himorishigeOriginally posted 2026.10.20
x.com/_himorishige/status/2112352367387787740Archived 2026.10.20 12:05