vLLM-Moet 在 4 张 RTX PRO 6000 上跑通 510GB DeepSeek 模型

Colby @dsoch8c原推发布于 2026.10.22

在 X 上打开原推

社区项目 vLLM-Moet 跑通 510GB 的 DeepSeek 模型，作者自测单流代码达 641 tok/s。 北京时间 2026-10-22 10:51，开发者重写计算与通信，解决 DeepSeek-V4.1-Flash-1017 在新卡装不下的问题。 在 4 张 RTX PRO 6000 下，作者自测单流散文为 253–265 tok/s，比官方镜像快约 1.5 倍，显存缓存扩至 2.5 倍。 数据暂无第三方复现。该方案需 4 张专业显卡与约 330GB 共享内存，单张 RTX 5090 无法装下。 https://github.com/kacper-daftcode/vLLM-Moet