DeepSeek V4.1 Flash EXL3-EAQ 量化 v1.1：indexer 保留 BF16

Wei @wei_wang原推发布于 2026.10.24

在 X 上打开原推

DeepSeek-V4.1-Flash 的 EXL3-EAQ 量化出了 v1.1 实验版，改的是 sparse attention 里的 indexer。 indexer 负责挑出哪些历史 token 要参与注意力。v1.1 把这条路整个留在 BF16，包括 indexer、共享的 query 投影和 compressor，权重只多 0.15 GB 左右。 单测 indexer，喂原模型的输入，16K 之后挑出来的 token 和原模型 100% 一致，v1 是 94.95%。 整个模型量化后一起跑，两版都在 73% 左右。前面的层量化以后，送进 indexer 的输入已经偏了，光把 indexer 留高精度补不回来。 2.9 bpw 这版整个仓库 210 GB 左右，两台 DGX Spark 分下来每台 105 GB，留给 KV cache 的不多。