deepseek-v4.1POST

V4.1 Flash 1017 双 DGX Spark 本地部署：EXL3 2.5bpw 量化约 107 tok/s

用 EXL3 2.5bpw 量化（约 185GB）加 TensorFold TP2，两台 DGX Spark 跑 1M 上下文，代码约 107 tok/s、prefill 约 2.4K tok/s；但 2.5bpw 下工具调用掉得最多，跑 agent 仍建议 4 台 Spark 上 4.0bpw。

𝙒𝙞𝙡𝙘𝙤 𝘷𝘢𝘯 𝘽𝙤𝙭𝙩𝙚𝙡 ⚡🚀🧲🌞

@nuonrg7 天前收录原推发布于 2026.10.24

𝙒𝙞𝙡𝙘𝙤 𝘷𝘢𝘯 𝘽𝙤𝙭𝙩𝙚𝙡 ⚡🚀🧲🌞 @nuonrg原推发布于 2026.10.24

在 X 上打开原推

DeepSeek V4.1 Flash 1017 now runs on just 2 DGX Sparks: @bertholomusai's EXL3 2.5bpw quant (~185GB) + TensorFold TP2, 1M context, ~107 tok/s on code, ~2.4K tok/s prefill. Tool calls lose the most at 2.5bpw, so 4 Sparks at 4.0bpw is still the pick for agents. https://huggingface.co/bertholomus/DeepSeek-V4.1-Flash-1017-EXL3-2.5bpw

x.com/nuonrg/status/2113734648391954770采集于 2026.10.24 12:07