DeepSeek V4.1 Flash 的 GSQ-RCO GGUF 量化版

今使っているローカル LLM、 来年も同じように手に入るとは限らない（特に無検閲） ◼︎動機 無検閲モデルが高値で売られる、 そんな日が来るかもしれない。だから今のうちに、自分の PC で無検閲化ができるようにしておきたい。 ◼︎今回 前回は Qwen3.8-Flash-Next の特殊な圧縮版（GSQ-RCO）RTX 5090 1枚でできた。 DeepSeek V4.1 Flashの GSQ-RCO 版が出たので、 同じことを試している途中。 ◼︎ここまで 推論エンジン Abyss（くーるぜろさん作）を改造し、 層ごとの書き込みを記録して、拒否の方向を取り除けるようにした。重みに焼き込むと、元の粗い刻みに丸め直す際に取り除いた分が戻ったので、 編集した行列だけ 8ビットで保存し直した。 ◼︎途中経過 少数の試験では、拒否対象の依頼に対して思考の中でも回答でも断りが 0。答えてよい質問にはすべて答え、数学も落ちなかった。 → まだ完成ではない、このあと罠がたくさんありそう しかし、5090 1枚でもいけそうな手応えはある。 ◼︎残り 使ってて違和感がないまで調整。 ベンチして調整。これの繰り返し。 最後に大きなベンチ。

这条是引用着另一条写的：x.com/rs_alonewolf/status/2114656422026006851