deepseek-v4.1THREAD

DeepSeek V4.1 Flash GGUF quantization: IQ2_XXS +15.5% perplexity, 8–10 tok/s on RTX 3060

Strata testing reports IQ2_XXS quantization raises perplexity 15.5% over the base model, runs about 8–10 tok/s on an RTX 3060 12GB with 46GB RAM, and llama.cpp does not support it yet.

まぷて

@mapte_fireballArchived 6 days agoOriginally posted 2026.10.24

THREADPosted in 2 parts

Strata側の検証では、IQ2_XXSのPPLは元モデル比+15.5%。RTX 3060 12GB＋RAM 46GBでは約8〜10 tokens/sとの報告。現時点でllama.cppは未対応。モデル： https://huggingface.co/ISTA-DASLab/DeepSeek-V4.1-Flash-1017-GSQ-RCO-GGUF Strata： https://github.com/Niko1221/Strata 元投稿： https://www.reddit.com/r/LocalLLaMA/comments/1xe2wg8/
763Bモデルの主要部分を2bitに圧縮して、ベンチ3種で元モデルと同点。ISTA-DASLabがDeepSeek-V4.1-Flash-1017のGGUF公開。StrataならVRAM 12GBでも動く。ただしRAM 46〜64GBとSSD約257GBが必要。2bit版のPPLは悪化。ベンチは同点だか性能同等とまではいかない様。詳細は返信に。

まぷて @mapte_fireballOriginally posted 2026.10.24

Open original on X

x.com/mapte_fireball/status/2113927120045195620Archived 2026.10.25 12:03