deepseek-v4.1THREAD

Unsloth 放出 V4.1 Flash GGUF：1-bit 版跑 128GB 机器，一致率 82.8–85.1%

面向 DGX Spark 等 128GB 设备的 UD-IQ1_S 量化，与原模型预测一致率 82.8–85.1%，110.6GB Engram 表放 SSD，需专用 llama.cpp PR 构建。

HiMorishige

@_himorishige11 天前收录原推发布于 2026.10.20

THREAD作者分 2 层发完

Unsloth版のGGUFも出ていますね。DGX Sparkなど128GB機向けの1-bit版（UD-IQ1_S）は、元のモデルとの予測一致率が82.8〜85.1%（評価データ2種）。110.6GBのEngram表はSSDに置く方式で、メモリの余裕は少なめ。llama.cppは専用PRのビルドが必要とのこと。 https://unsloth.ai/docs/models/deepseek-v4.1-flash
DeepSeek-V4.1-Flash-1017をDGX Spark 1台に載せる約113.6GBの変換版。同じ手順の旧V4.1版では、元のモデルと次の語の予測が一致した割合は分野別に69〜79%とのこと。小さくする分の精度低下はあるので、1017版での計測結果を待ちたいところ。 https://huggingface.co/Baekpica/DeepSeek-V4.1-Flash-1017-VQ-GGUF

HiMorishige @_himorishige原推发布于 2026.10.20

x.com/_himorishige/status/2112352367387787740采集于 2026.10.20 12:05