WHAT NEW IN X10.28 WED

X 上的 AI 合集档案 · 22 个合集 · 58,925 条

今天新增deepseek-v4.1POST

Strata 上试 IQ2_XXS 量化:Engram 部分改用原始 MXFP8 权重提精度

作者在 Strata 里用 1017 的 IQ2_XXS-Uncensored 量化做实验,把放在 SSD 上的 Engram 部分从 4 比特换成原始 MXFP8 权重,只用现有权重组合即可运行。

となりのトトノ🏯Local LLM | Tonoken3
@Tono_Ken39 小时前收录原推发布于 2026.10.28
となりのトトノ🏯Local LLM | Tonoken3 @Tono_Ken3原推发布于 2026.10.28
在 X 上打开原推

Strataで1017での推論精度アップのアイディアを見つけた。IQ2_XXS-Uncensordで、SSDに置くEngram部分を4ビット量子化されたものでなく、オリジナルのMXFP8重みで使ってみるもの 手元にある重みの組み合わせだけで実行できるので試す https://huggingface.co/Starw1/DeepSeek-V4.1-Flash-1017-Uncensored-GSQ-RCO-IQ2_XXS-MXFP8-Engram-GGUF

x.com/tono_ken3/status/2115239219149095333采集于 2026.10.28 12:01