deepseek-v4.1IMAGE
DeepSeek V4.1 Flash 推理加速竞赛:Fireworks 达 1521 tok/s
多家推理基础设施公司围绕 V4.1 Flash 1017 做加速,官方 333 tok/s,Fireworks AI 达 1521 tok/s,开放权重与 DSpark 推测解码是关键。
Michael Guo
@Michaelzsguo9 天前收录原推发布于 2026.10.23

Michael Guo @Michaelzsguo原推发布于 2026.10.23
这几天,几家 AI 基础设施公司围绕 DeepSeek V4.1 Flash 1017,展开了一场推理加速竞赛。 目前看到的输出速度: DeepSeek 官方:333 tokens/s Sybil AI:675 tokens/s OpenGateway:848 tokens/s Fireworks AI:1,521 tokens/s 为什么 DeepSeek V4.1 Flash 这么适合做推理优化?为什么各家都在争相加速它? 关键在于开放权重,让基础设施公司有机会深入优化整个推理过程。具体到 V4.1 Flash,DSpark 推测解码提供了一条直接提升输出速度的路径;而 MoE 架构中的专家调度、访存和跨卡通信,又给不同团队留下了充分发挥优化能力的空间。 同一个模型,在不同的推理基础设施上,速度竟然可以相差数倍。这场竞赛比拼的已经不只是模型本身,更是底层推理工程的实力。
这条是引用着另一条写的:x.com/rlaope/status/2113213018662371710
x.com/michaelzsguo/status/2113415328944300285采集于 2026.10.23 12:05