今天新增deepseek-v4.1POST
Strata 上试 IQ2_XXS 量化:Engram 部分改用原始 MXFP8 权重提精度
作者在 Strata 里用 1017 的 IQ2_XXS-Uncensored 量化做实验,把放在 SSD 上的 Engram 部分从 4 比特换成原始 MXFP8 权重,只用现有权重组合即可运行。
となりのトトノ🏯Local LLM | Tonoken3
@Tono_Ken39 小时前收录原推发布于 2026.10.28
となりのトトノ🏯Local LLM | Tonoken3 @Tono_Ken3原推发布于 2026.10.28
Strataで1017での推論精度アップのアイディアを見つけた。IQ2_XXS-Uncensordで、SSDに置くEngram部分を4ビット量子化されたものでなく、オリジナルのMXFP8重みで使ってみるもの 手元にある重みの組み合わせだけで実行できるので試す https://huggingface.co/Starw1/DeepSeek-V4.1-Flash-1017-Uncensored-GSQ-RCO-IQ2_XXS-MXFP8-Engram-GGUF
x.com/tono_ken3/status/2115239219149095333采集于 2026.10.28 12:01