4090 D 本地部署 V4.1 Flash:加内存到 128G 后 46.2 tok/s
project-maya 在 4090 D 48G 上把内存加到 128G,decode 从 25.7 升到 46.2 tok/s;升级引擎后掉到 37.6,关掉 PCIe 专家路径回到 47。
今天给机器加了 64G 内存到128G,用的project-maya,同一个 DeepSeek V4.1 Flash 在 4090 D(魔改48G显存) 上从 25.7 涨到 46.2 tok/s。 64G 的时候,引擎只能预读 50.3G 的专家进内存,加到 125G 后启动日志变成 10718 of 10718 experts copied into RAM (74.1 GB) in 13.6 s。prefill 基本没动,2k 和 8k 都在原来的水平,因为批量 prompt 本来就会复用专家。 把 Maya 从 1.1.27 升到 1.1.30,decode 反而掉到 37.6。 原因是新版给“专家在内存、不在显存”这种情况加了一条 one-GPU 路径,把专家经 PCIe 拉到 GPU 上算。它自己在启动日志里报了耗时:CPU 上算一个专家 0.10 到 0.19 毫秒,走 PCIe 是 0.31 到 0.53 毫秒。慢两到四倍,而每个 token 还是要搬四五个过去。这条路径在核少、内存带宽窄的机器上是有用的,官方数据来自 3090;我这台 20 核、内存带宽实测 66GB/s的主机,完全倒过来。 MAYA_DS4_STREAM=0 关掉,回到 47.0。 两边各跑了三遍:默认 38.5、39.6、34.8,关掉后 47.5、47.5、46.1。不是抖动,是稳定差 18%。 另外,maya这引擎只有一个槽,第四个请求等 18.7 秒才出第一个 token,聚合 52.7 也就是单流水平。想要真并发得换 paged batching 的引擎,加内存解决不了。