deepseek-v4.1POST
DeepSeek V4.1 Flash EXL3 3bpw hits 224 tok/s on dual RTX PRO 6000
A 3bpw EXL3 quant of DeepSeek V4.1 Flash ran at 224 tok/s on two RTX PRO 6000 Blackwell cards (192GB VRAM total), but needs about 260GiB of system RAM.
まぷて
@mapte_fireballArchived 4 days agoOriginally posted 2026.10.25
まぷて @mapte_fireballOriginally posted 2026.10.25
DeepSeek-V4.1-Flash-1017がローカルで224 tok/s EXL3 3bpw版をRTX PRO 6000 Blackwell×2（VRAM計192GB）で動かした実測が公開。 ただし、別途RAM約260GiBが必要。もはや個人PCというよりサーバー級の構成。それでもこの速度は驚異的。詳細は返信に。
x.com/mapte_fireball/status/2114304566506471869Archived 2026.10.26 12:05