DeepInfer 开源：昇腾 950 与英伟达同列一等公民

MATH FOURNITY @math_fournity原推发布于 2026.10.21

在 X 上打开原推

华为 & DeepSeek ✌️ 这是一场典型的**软件栈（尤其是推理框架）话语权与生态锁定之争**，商业逻辑很清晰，也符合AI硬件竞争的长期规律。 ### 核心逻辑：硬件性能必须靠软件兑现 在AI加速器领域，硅片本身只是一半。真正决定“能不能大规模用起来、用得划不划算”的是完整软件栈：底层kernel、编译器、并行策略、KV Cache管理、投机解码、调度器、通信优化等。英伟达过去十几年最大的护城河不是GPU峰值算力，而是**CUDA生态**。几乎所有主流框架（vLLM、SGLang、TensorRT-LLM等）都优先、深度优化CUDA路径，开发者写代码、调性能、部署的默认路径都指向英伟达。 华为昇腾要突破，最大障碍不是芯片本身能不能算，而是软件生态和优化深度。DeepSeek这次开源DeepInfer，并明确把昇腾950和英伟达SM100放在同一官方支持列表里，等于做了一件关键的事： - 它把自己生产环境验证过的、针对自家模型（目前主要是V4.1-Flash）的高性能推理栈开源了。 - 之前（9月底）双方已经在TileLang、DeepGEMM、DeepEP等底层组件上有深度协同，做了128卡超节点的联合优化。DeepInfer是这个协同的上层兑现。 - 开源后，社区、其他模型厂商、部署方如果想跑DeepSeek模型（或借鉴其技术），有了一个“官方生产级”的参考实现，而且昇腾是一等公民。 这会降低华为硬件的使用门槛，并创造一种可能性：在DeepSeek自己深度参与优化的框架下，昇腾在某些负载上可以打出接近甚至局部超越纯英伟达栈的性价比。一旦这种框架（或它的设计思想、kernel）被广泛采用，就会反向要求模型厂商和框架维护者优先适配它，从而给华为硬件带来真实的部署机会。 ### 英伟达为什么要反应？ 英伟达最怕的不是某一款模型，而是**软件优化的“默认靶点”发生偏移**。 如果DeepInfer（或基于它演化出的社区版本）成为DeepSeek系模型、甚至部分其他开源模型的高性能部署首选，那么： 1. 模型厂商会有动力优先保证在这个框架上的性能（因为用户量/口碑在这里）。 2. 社区会围绕它贡献kernel和优化，而不是只围绕CUDA/TensorRT-LLM。 3. 华为通过软硬协同，可以把性能差距压缩到“硬件本身 + 底层算子质量”的层面，而不是“软件生态完全落后”的层面。 到那时，在中国市场（受出口管制影响最大）、以及部分对成本敏感或有地缘考量的海外客户那里，昇腾就有了可规模化替代的窗口。推理是持续消耗算力的部分，比训练更影响长期份额和收入。 Flare Local Inference的发布时间点很敏感。它是英伟达面向SM120/SM121（工作站Blackwell、DGX Spark等）的本地推理服务器，用Rust运行时、强调长上下文、Agent、工具调用场景，和DeepInfer面向大规模数据中心的定位不完全一样。但“第二天就推”本身就是一种信号：英伟达要继续在推理框架/服务器层卡位，强化“最高性能、最好体验仍然在英伟达栈上”的叙事，避免社区默认路径被别人定义。 更广泛看，英伟达一直在推TensorRT-LLM、NIM、Dynamo等自己的优化路径，同时允许vLLM/SGLang等开源框架繁荣（因为它们最终还是主要跑在CUDA上）。DeepSeek这次是更激进的双栈+开源生产栈打法，直接挑战“优化只围着英伟达转”的格局。 ### 现实约束与竞争的本质 需要冷静看几点： - DeepInfer目前支持模型很窄（主要是V4.1-Flash），是离线推理，缺完整的KV Cache系统、Prefill/Decode分离调度、负载均衡等生产组件。性能数字是自报的，曲线主要展示在英伟达硬件上。vLLM很快就声称在英伟达硬件上能把差距压到约6%。 - 通用框架（vLLM、SGLang）覆盖更广，社区迭代快，DeepInfer要真正成为主流还需要持续投入和模型覆盖。 - 华为在供应链、可靠性、完整软件生态、开发者工具上仍有明显差距。软硬协同能缩小差距，但很难一蹴而就。 但**战略意图是成立的**。这是一种“用开源模型+开源生产级软件栈，倒逼硬件生态”的打法。DeepSeek作为当前最有影响力的中国开源模型方之一，它的选择有示范效应。英伟达的反应，本质是守住软件层的话语权和默认优化路径，因为这直接决定硬件的长期销量。 总结成一句话：**这是AI时代“谁定义高性能推理的参考实现，谁就掌握硬件选择权”的竞争**。DeepSeek+华为在尝试通过软硬协同+开源，把华为从“需要额外适配的二流选项”变成“官方支持的一等公民”；英伟达则在用自己的框架和生态优势，维持“最好用、最快的路径还是我的”这个认知。谁能在社区和实际部署中赢得更多默认地位，谁就能在接下来几年的推理算力份额争夺中占优。 https://github.com/NVIDIA/flare-local-inference