deepseek-v4.1IMAGE
DeepSeek V4.1 Flash 748B hits nearly 20 tok/s on a single 48GB modded 4090
A hands-on test runs a quantized V4.1 Flash on a 48GB modded 4090 with 128GB RAM, caching hot experts in VRAM to lift throughput from 5–6 to nearly 20 tok/s.
洋仔实验室
@yang3izcArchived 10 days agoOriginally posted 2026.10.21
洋仔实验室 @yang3izcOriginally posted 2026.10.21
748B 的模型，单张 4090 真跑起来了。 黄总实测从 5–6 tok/s 压到近 20 tok/s。 关键在于：把热专家塞进显存当缓存。 硬件前提是 48G 魔改 4090 + 128G 内存，不是普通卡。 想试量化版，模型页在：https://huggingface.co/Baekpica/DeepSeek-V4.1-Flash-1017-VQ-GGUF 我好奇的是：普通 24G 4090 能跑出多少？
x.com/yang3izc/status/2112876684257157406Archived 2026.10.22 12:01