deepseek-v4.1IMAGE
192GB 内存 + 96GB 显存跑 512K 上下文，仅 11 tok/s
用户用 llama.cpp 在 192GB 内存加 96GB 显存上跑 DeepSeek-V4.1-Flash 1017 IQ1 量化，512K 上下文能跑但解码只有 11 tok/s。
unbug
@unbug10 天前收录原推发布于 2026.10.21
unbug @unbug原推发布于 2026.10.21
Good news: 512K context with DeepSeek-V4.1-Flash 1017 IQ1 runs easily on my 192GB RAM + 96GB VRAM. Bad news: only 11 TPS decode. Oh boy—llama.cpp 😅
x.com/unbug/status/2112589113836843095采集于 2026.10.21 12:10