DeepSeek V4.1 Flash GSQ-RCO quant runs a 763B model on 12GB VRAM
ISTA-DASLab released GSQ-RCO quantizations of DeepSeek-V4.1-Flash-1017 at 230–265GB total, runnable with 12GB VRAM plus 64GB RAM and comfortable at 128GB.
来ましたよ！間に合わなくて、今日はないのかと思ってた💦VRAM 12GBで動く模様！ 🔥 763BモデルがVRAM 12GBで動く時代が来た ISTA-DASLabのDeepSeek-V4.1-Flash-1017 GSQ-RCO量子化版が公開されました。 📦 容量感 （全部で230GB ~ 265GB) ・Engram：約110GBまで圧縮 ・バックボーンは120GB ~ 155GB 💻 ローカル動作目安（Strata使用時） ・VRAM 12GB + RAM 64GB → 動作可能 ・VRAM 12GB + RAM 128GB → 快適ゾーン ✅ 品質はAIME25 / GPQA / LiveCodeBenchなどでベースモデルにほぼ匹敵。 フロンティア級をコンシューマ環境で実用的に動かせるラインまで来てます。 📊GSQ-RCOって何？ 既存のGGUF系とは以下の点で異なる。 ・動的ミックス精度（重要度に応じてビット数を変える） ・RCO（Routing-aware Compression）でMoEのエキスパートを効率的に圧縮 → 通常の量子化より低ビットでも精度落ちが少ないのが特徴。 かなり圧縮されてるとはいえ、763Bのモデルなので、RAM 64GB勢の実測がどのくらいになるかで、話題の爆発度が変わりそうだ！ ※実測は使ってみないとわからないので、参考程度に！ #地元のLLM #DeepSeek
This post quotes another post: “Running 763B-parameter DeepSeek V4.1 Flash 1017 on a 12GB GPU”