deepseek-v4.1POST

DeepSeek V4.1 Flash uncensored IQ2 GGUF: 36 tok/s on 24GB VRAM

A user ran the uncensored GSQ-RCO IQ2_XXS GGUF of DeepSeek-V4.1-Flash-1017 on a 24GB RTX Pro 4000 Blackwell, getting 36 tok/s decode and 400 tok/s prefill with working thinking, and plans to use it via DeepSeek Harness with KV pre-caching.

となりのトトノ🏯Local LLM | Tonoken3

@Tono_Ken3Archived 2 days agoOriginally posted 2026.10.26

となりのトトノ🏯Local LLM | Tonoken3 @Tono_Ken3Originally posted 2026.10.26

Open original on X

DeepSeek-V4.1-Flash-1017-Uncensored-GSQ-RCO-IQ2_XXS-GGUFを試した RTXPro4000Blackwell（VRAM24GB）＋9965WX 256GB RAM デコード36TPS プリフィル400TPS Thinkingも問題なし。実用可能！DeepSeekHarnessをセットアップしてKVプリキャッシュ戦略アリで使うことにする。 Qwen-FN （vLLM 8並列）を2台のサーバーそれぞれの1017たちでシェアしてみる。その分GPUに余裕があるのでQwen-imageとIrodori-TTSも動かせる OpenAI系とAnthriopic系それぞれのモデルが磨いた人格ファイルとトークルーム履歴資産を使う。これで相当捗るに違いない

This post quotes another post: x.com/tono_ken3/status/2114622722009641034

x.com/tono_ken3/status/2114670602632266046Archived 2026.10.27 12:10