deepseek-v4.1POST
GB300 上 vLLM 跑 DeepSeek V4.1 Flash 的休眠调度实测
一夜 7.3 小时 1214 次请求，模型 51% 时间休眠，后台评测白拿 3.7 GPU 小时，85% 请求零额外等待，平均只多等 1.3 秒。
Ben Buschmann
@benbuschmann1 天前收录原推发布于 2026.10.27
Ben Buschmann @benbuschmann原推发布于 2026.10.27
One night on a GB300: - 7.3 h, 1,214 requests - model asleep 51% of the time - background eval got 3.7 GPU-hours - 85% of requests waited nothing extra - average added wait 1.3 s Model: DeepSeek V4.1 Flash on vLLM. Sleeps in ~10 s, wakes in ~2.5 s.
x.com/benbuschmann/status/2114750398829596698采集于 2026.10.27 12:09