deepseek-v4.1POST
vLLM matches DeepInfer on V4.1 Flash at batch sizes 8-256
vLLM reports that under DeepSeek's decode configuration, V4.1 Flash performance matches DeepInfer across batch sizes 8 to 256, using DEP32 versus EP64DP64.
AI超元域
@AISuperDomainArchived 6 days agoOriginally posted 2026.10.25
AI超元域 @AISuperDomainOriginally posted 2026.10.25
vLLM 表示，在 DeepSeek 的解码配置下 针对 DeepSeek-V4.1-Flash，批大小从8到256时 vLLM 的表现与 DeepSeek 自有引擎 DeepInfer 相当 vLLM 使用的是 DEP32，而 DeepInfer 使用 EP64DP64
This post quotes another post: x.com/vllm_project/status/2114054277379641770
x.com/aisuperdomain/status/2114180861591486716Archived 2026.10.25 12:00