deepseek-v4.1POST
V4.1 Flash 748B 在原生 llama.cpp 上跑约 40 tok/s
作者把 GSQ-RCO 量化重打包成上游 GGUF 格式，在单张 RTX PRO 6000 加内存上跑 DeepSeek V4.1 Flash 748B，约 40 tok/s，不用分支或第三方引擎。
vveerrgg
@vveerrgg12 小时前收录原推发布于 2026.10.28
vveerrgg @vveerrgg原推发布于 2026.10.28
@deepseek_ai V4.1 (748B) on stock llama.cpp. No Strata, no fork, no third-party engine. Repacked @ISTA_DASLab’s GSQ-RCO quant into upstream format: same weights, byte for byte. Runs on 1 RTX PRO 6000 + RAM: ~40 tok/s. 🤗 https://huggingface.co/HumanjavaEnterprises/DeepSeek-V4.1-Flash-1017-GSQ-RCO-upstream-GGUF 🛠️ https://github.com/HumanjavaEnterprises/deepseek-v41-upstream
x.com/vveerrgg/status/2115211511824298284采集于 2026.10.28 12:02