DeepSeek open-sources DeepInfer inference framework with Ascend 950 support
DeepSeek released DeepInfer, an inference-only framework that lists Huawei Ascend 950 alongside Nvidia Blackwell, but it supports only V4.1-Flash and all its performance numbers come from Nvidia GPUs.
两天!!!两堵墙!!!英伟达的 CUDA 同时被拆??? 美国这边,Google 和 Meta 的 PyTorch 团队开源了 TorchTPU,让 PyTorch 原生跑在 Google 的 TPU 上,号称把 .to("cuda") 改成 .to("tpu") 就能迁。官方拿 4917 个 Hugging Face 热门模型测,98% 能跑通。 中国这边,DeepSeek 开源了自家推理框架 DeepInfer,官方支持的硬件除了英伟达 Blackwell,还写了华为昇腾 950。 但两边都是"能跑",不是"跑得一样好": 1. TorchTPU 官方承认这么改到不了峰值性能,FlexAttention 也还不支持 2. DeepInfer 只支持 V4.1-Flash 一个模型,只做推理,性能数字全是英伟达卡上测的,昇腾一个数都没给 CUDA 墙上开了两道缝,你们谁先迁???
This post quotes another post: x.com/rohanpaul_ai/status/2112627844711071899