deepseek-v4.1VIDEO
4×CMP 170HX 本地跑 V4.1 Flash 1017：解码最高 200 tok/s
在 4 张 CMP 170HX 加 256GB DDR4 上跑 EXL3 3bpw 量化版，解码代码/散文/结构化分别为 130.2/97.2/200.8 tok/s，c8 聚合最高 671 tok/s，32k 上下文预填充约 1587 tok/s。
Sean Phan
@seanphan10 天前收录原推发布于 2026.10.21
Sean Phan @seanphan原推发布于 2026.10.21
DeepSeek-V4.1-Flash-1017 at home (4× CMP 170HX + 256GB DDR4 RAM) - decode 130.2 / 97.2 / 200.8 (code / prose / structured), c8 aggregate 372 / 255 / 671 tok/s pretty decent coding speed at frontier level - prefill 1181 / 1688 / 1587 tok/s at 2k / 8k / 32k ctx video sample from api, our quant EXL3 3 bpw recipe @BBacktesting @Morrowmake
x.com/seanphan/status/2112623058586677349采集于 2026.10.21 12:09