DeepInfer release explained: multi-GPU scheduling, speculative verification, less recompute
A Japanese post breaks down DeepSeek's open-sourced DeepInfer, citing efficient multi-GPU use, batched speculative verification and reduced recomputation as potential cost savers.
これ、やばいですねぇえ 真のDeepSeekショックを起こそうとしてるのか!! DeepSeekが V4.1-Flashの本番サービスで使っている推論基盤「DeepInfer」を公開。 AIを提供する事業者（プロバイダー）にとっては、「どう動かせば速く、大量に、安く処理できるか」の中核コードが手に入るという話。 ・複数GPUを効率よく使う ・回答候補を先読みして、まとめて検証 ・不要な再計算を減らす 他のプロバイダーも、公式の高速化ノウハウを自社サービスへ取り込めるようになる。 普通にAIモデルのサービスプロバイダーって当たり前ですけど、そのノウハウも必要なんですけど、そういったノウハウって表に出るわけないじゃないですか、普通は。 でも、米国だろうが日本だろうがフランスだろうが、どこでもうちの高速化フレームワーク使ってもらっていいっすよ、と。 これが提供コストの削減につながれば、利用者が払うAPI料金にも効いてくる可能性がある。そこがデカい。 ※大規模設備向けで、サービス化にはキャッシュ管理や負荷分散などの追加実装が必要。
This post quotes another post: “DeepSeek open-sources DeepInfer, the inference framework behind V4.1 Flash”