今天新增本地部署POST
双 RTX Pro 6000 本地跑 DeepSeek Flash 1017 未量化达 410 tok/s
用户在两张 RTX Pro 6000 Max-Q 上以未量化权重运行 DeepSeek Flash 1017，编码场景达到 410 tok/s，并认为本地推理的下一步是硬件专属的推理软件技巧。
rwtenjoyer
@rwtenjoyer2 小时前收录原推发布于 2026.10.30
rwtenjoyer @rwtenjoyer原推发布于 2026.10.30
We are now at 410 tok/s (coding) for Deepseek Flash 1017 (unquantized) on 2x RTX Pro 6000 Max-Qs Amazing how much is left on the table for each unique setup The future of local is hardware specific inference software tricks
x.com/rwtenjoyer/status/2116006915163726289采集于 2026.10.30 12:05