今天新增deepseek-v4.1POST
双卡 RTX PRO 6000 本地跑 V4.1 Flash：代码约 77 tok/s
在 RTX PRO 6000 96GB 加 128GB 内存上以 IQ1/IQ2 混合量化加投机解码部署 V4.1 Flash，16K 上下文下散文约 70、代码约 77 tok/s。
ideahazard💹🧲
@1d34h4z4rd8 小时前收录原推发布于 2026.10.28
ideahazard💹🧲 @1d34h4z4rd原推发布于 2026.10.28
@0xSero DeepSeek V4.1 Flash locally: RTX PRO 6000 Blackwell 96GB + 128GB RAM, Hermes/Strata. Mixed IQ1/IQ2 experts, IQ4 Engram + DSpark speculative decoding. At 16K context: ~70 tokens/sec prose, ~77 code, 218–224 on easy sequences. Stock + abliterated. Works well but ill bench Qwen too
x.com/1d34h4z4rd/status/2115213390482145294采集于 2026.10.28 12:02