deepseek-v4.1THREAD
V4.1 Flash GGUF 量化实测：IQ2_XXS 困惑度涨 15.5%，3060 上 8–10 tok/s
Strata 侧验证显示 IQ2_XXS 量化困惑度比原模型高 15.5%，RTX 3060 12GB 加 46GB 内存约 8–10 tok/s，且 llama.cpp 目前尚不支持。
まぷて
@mapte_fireball6 天前收录原推发布于 2026.10.24
THREAD
Strata側の検証では、IQ2_XXSのPPLは元モデル比+15.5%。RTX 3060 12GB＋RAM 46GBでは約8〜10 tokens/sとの報告。 現時点でllama.cppは未対応。 モデル： https://huggingface.co/ISTA-DASLab/DeepSeek-V4.1-Flash-1017-GSQ-RCO-GGUF Strata： https://github.com/Niko1221/Strata 元投稿： https://www.reddit.com/r/LocalLLaMA/comments/1xe2wg8/
763Bモデルの主要部分を2bitに圧縮して、ベンチ3種で元モデルと同点。ISTA-DASLabがDeepSeek-V4.1-Flash-1017のGGUF公開。StrataならVRAM 12GBでも動く。ただしRAM 46〜64GBとSSD約257GBが必要。2bit版のPPLは悪化。ベンチは同点だか性能同等とまではいかない様。詳細は返信に。
まぷて @mapte_fireball原推发布于 2026.10.24
x.com/mapte_fireball/status/2113927120045195620采集于 2026.10.25 12:03