deepseek-v4.1POST
DeepSeek V4.1 Flash on 3×V100: Maya beats Strata by 25% in decode
On a 3×V100 + 128GB RAM machine, Project Maya decoded the 748B DeepSeek V4.1 Flash at 27.5 vs 22.0 tok/s and prefilled long text at 425 vs 176 tokens/s versus Strata.
Aoke Quant 奥克队长🚩ΙΧΘΥΣ
@aoke_quantArchived 2 days agoOriginally posted 2026.10.25
Aoke Quant 奥克队长🚩ΙΧΘΥΣ @aoke_quantOriginally posted 2026.10.25
同一台 3×V100+128G 内存的老机器上，把 748B 的 DeepSeek-V4.1-Flash 分别用 @PeasantSmith 的 Project Maya 和 Strata 跑了一遍：Maya 解码 27.5 tok/s vs 22.0（快 25%），长文预填 425 vs 176（快 2.4 倍）。差距主因：Maya 的 Volta 预填优化（我们实测 +35%）+ Engram 表驻显存 + 专家全量锁内存。Maya 让老卡跑大模型真的很拼。
This post quotes another post: x.com/peasantsmith/status/2112232671023644743
x.com/aoke_quant/status/2114309654562165182Archived 2026.10.26 12:05