deepseek-v4.1IMAGE
vLLM-Moet runs 510GB DeepSeek V4.1 Flash on 4 RTX PRO 6000 GPUs
A community project, vLLM-Moet, rewrites compute and communication to fit DeepSeek-V4.1-Flash-1017 on four RTX PRO 6000 cards, with the author measuring 641 tok/s single-stream code and 253–265 tok/s prose, about 1.5x faster than the official image, requiring ~330GB shared memory and no third-party reproduction yet.
Colby
@dsoch8cArchived 10 days agoOriginally posted 2026.10.22
Colby @dsoch8cOriginally posted 2026.10.22
社区项目 vLLM-Moet 跑通 510GB 的 DeepSeek 模型，作者自测单流代码达 641 tok/s。 北京时间 2026-10-22 10:51，开发者重写计算与通信，解决 DeepSeek-V4.1-Flash-1017 在新卡装不下的问题。 在 4 张 RTX PRO 6000 下，作者自测单流散文为 253–265 tok/s，比官方镜像快约 1.5 倍，显存缓存扩至 2.5 倍。 数据暂无第三方复现。该方案需 4 张专业显卡与约 330GB 共享内存，单张 RTX 5090 无法装下。 https://github.com/kacper-daftcode/vLLM-Moet
x.com/dsoch8c/status/2113105635659354564Archived 2026.10.22 11:59