DeepSeek 开源 DeepInfer 推理框架,顺带提到 Anthropic 封号
介绍 DeepSeek 开源推理框架 DeepInfer 的吞吐、延迟与部署门槛,结尾以「被 Anthropic 封号」经历为开源站台。
开源模型与闭源模型之战 DeepSeek 这次是真硬气。 美国刚要求联邦机构停用 DeepSeek,10 月 20 日,DeepSeek 就把压箱底的推理框架 DeepInfer 开源了。 GitHub地址是 https://github.com/deepseek-ai/DeepInfer 同一天,DeepSeek 研究员陈德里在 X 上转发了官宣,写下这段话: 「开源与闭源,光明与黑暗。两种未来、人类两种命运之间的决战。他们想打多久,我们就打多久。直到取得完全胜利!」 这话说给谁听,懂的都懂。 推理框架到底多重要? 模型再强,也得有一套东西把它的能力榨干,推理框架干的就是这个活。衡量它好不好,就看两个数: 吞吐:一秒钟能吐出多少 token 延迟:你发完消息,要等多久它才开始回答 DeepSeek 自己公布的成绩是这样的:单集群一天吞吐约 155 万亿 token,首字延迟约 400 毫秒,输入缓存命中率 96%,每卡每小时收入约 38 美元(按谷时价格算)。 这就是 DeepSeek 能卖得这么便宜的底牌。现在,这张底牌直接摊在了桌上。 作为程序员,我看到的是什么? 说实话,这套框架个人基本跑不起来,基本上公司才有戏。 它目前只支持DeepSeek V4.1 Flash,硬件要英伟达Blackwell或华为昇腾 950,官方推荐的最小部署是 128 张显卡。 但它把「便宜」的秘密讲透了:缓存命中率决定成本。你写 agent 也是一样,固定的提示词放前面,每次变的内容别往前缀里塞,账单立马不一样。 闭源巨头靠藏着赚钱,DeepSeek 靠摊开赢人心。 相信大家都有被Anthropic封号的经历吧,开源必胜! 他们想打多久,我们就打多久。直到取得完全胜利!
这条是引用着另一条写的:「DeepSeek 开源推理框架 DeepInfer,支撑 V4.1 Flash 生产服务」