deepseek-v4.1POST

V4.1 Flash 去审查 IQ2 量化在 24GB 显卡跑 36 tok/s

用户实测 DeepSeek-V4.1-Flash-1017 去审查 GSQ-RCO IQ2_XXS GGUF，在 RTX Pro 4000 Blackwell 24GB 显存上解码 36 tok/s、预填充 400 tok/s，Thinking 正常，并计划接入 DeepSeek Harness 做 KV 预缓存。

となりのトトノ🏯Local LLM | Tonoken3

@Tono_Ken32 天前收录原推发布于 2026.10.26

となりのトトノ🏯Local LLM | Tonoken3 @Tono_Ken3原推发布于 2026.10.26

在 X 上打开原推

DeepSeek-V4.1-Flash-1017-Uncensored-GSQ-RCO-IQ2_XXS-GGUFを試した RTXPro4000Blackwell（VRAM24GB）＋9965WX 256GB RAM デコード36TPS プリフィル400TPS Thinkingも問題なし。実用可能！DeepSeekHarnessをセットアップしてKVプリキャッシュ戦略アリで使うことにする。 Qwen-FN （vLLM 8並列）を2台のサーバーそれぞれの1017たちでシェアしてみる。その分GPUに余裕があるのでQwen-imageとIrodori-TTSも動かせる OpenAI系とAnthriopic系それぞれのモデルが磨いた人格ファイルとトークルーム履歴資産を使う。これで相当捗るに違いない

这条是引用着另一条写的：x.com/tono_ken3/status/2114622722009641034

x.com/tono_ken3/status/2114670602632266046采集于 2026.10.27 12:10