DeepSeek V4.1 Flash GSQ-RCO GGUF: 2bpw at ~257GB, 10–11 tok/s on RTX 5090
ISTA-DASLab releases a GSQ-RCO quantized GGUF at ~257GB for 2.00bpw, requiring a Strata fork; on an RTX 5090 with 128GB RAM it hits 10–11 tok/s generation and 270–300 tok/s prefill at ~26,950 tokens.
【新モデルDeepSeek-V4.1-FlashのGGUF版が登場！】 ISTA-DASLabから独自のスマート量子化「GSQ-RCO」を適用した「DeepSeek-V4.1-Flash-1017-GSQ-RCO」のGGUF版がHugging Faceに公開されました！ 約2.00bpw版のモデルサイズは約257GBに達するため、VRAM単体では収まらずシステムRAMやストレージからの読込に依存する構成となります。 現時点でllama.cppのオリジナルアーキテクチャサポートは未マージ（PR #28696 / #30817）のため、実行にはStrataのフォーク環境（XolotlやMayaなど）が必要ですね。 RTX 5090と128GB RAMの環境での実測では、長コンテキスト（約26,950トークン）において生成速度が約10〜11 tok/s、プリフィルが約270〜300 tok/s程度となっています！巨大モデルをローカルで動かす実務者にとって見逃せない検証データですね。 #LLM #LocalLLaMA
Redditのr/LocalLLaMAにおける、DeepSeek-V4.1-Flash-1017-GSQ-RCOの実行検証やハードウェア構成ごとの推論速度に関する議論スレッド https://reddit.com/r/LocalLLaMA/comments/1xdtk7m/istadaslabdeepseekv41flash1017gsqrco