deepseek-v4.1IMAGE

单张 RTX 5090 跑 DeepSeek V4.1 Flash：自量化 GGUF 达 21 tok/s

作者发布 IQ2_XXS GGUF 量化权重与配方，单卡 5090 新提示约 21 tok/s、重复提示 25 tok/s，远高于 MXFP4 专家的约 7 tok/s。

Adrian Rangel

@acrogenesis11 天前收录原推发布于 2026.10.18

单张 RTX 5090 跑 DeepSeek V4.1 Flash：自量化 GGUF 达 21 tok/s

Adrian Rangel @acrogenesis原推发布于 2026.10.18

New Deepseek Flash V4.1 1017. One RTX 5090. ~21 tokens/sec. My custom GGUF quant hits 21 tok/s on fresh prompts and 25 on repeats, versus ~7 with MXFP4 experts. Weights, recipe, benchmarks: https://huggingface.co/acrogenesis/DeepSeek-V4.1-Flash-1017-IQ2_XXS-GGUF

x.com/acrogenesis/status/2111643296405836145采集于 2026.10.18 16:44