deepseek-v4.1POST
老 V100 机器上跑 DeepSeek-V4.1-Flash:Maya 比 Strata 快 25%
在 3×V100+128G 内存上对比 Project Maya 与 Strata 跑 748B 模型:解码 27.5 vs 22.0 tok/s,长文预填 425 vs 176,差距来自 Volta 预填优化与专家锁内存。
Aoke Quant 奥克队长🚩ΙΧΘΥΣ
@aoke_quant2 天前收录原推发布于 2026.10.25
Aoke Quant 奥克队长🚩ΙΧΘΥΣ @aoke_quant原推发布于 2026.10.25
同一台 3×V100+128G 内存的老机器上,把 748B 的 DeepSeek-V4.1-Flash 分别用 @PeasantSmith 的 Project Maya 和 Strata 跑了一遍:Maya 解码 27.5 tok/s vs 22.0(快 25%),长文预填 425 vs 176(快 2.4 倍)。差距主因:Maya 的 Volta 预填优化(我们实测 +35%)+ Engram 表驻显存 + 专家全量锁内存。Maya 让老卡跑大模型真的很拼。
这条是引用着另一条写的:x.com/peasantsmith/status/2112232671023644743
x.com/aoke_quant/status/2114309654562165182采集于 2026.10.26 12:05