WHAT NEW IN X11.01 SUN

X 上的 AI 合集档案 · 22 个合集 · 63,974 条

deepseek-v4.1POST

DeepSeek V4.1 Flash 大规模推理部署:DeepInfer 技术拆解

总结 DeepSeek 知乎文中 DeepInfer 的亮点:多厂商芯片兼容、PD 分离、KVCache 留 3 天、SWA Bounded Replay 让 prefill 计算近减半、DSpark 投机解码。

Leo · Building w/ AI
@leo11411910 天前收录原推发布于 2026.10.21
Leo · Building w/ AI @leo114119原推发布于 2026.10.21
在 X 上打开原推

DeepSeek V4.1 Flash 大规模推理部署实践 从deepseek 这篇知乎文来看,看DeepInfer 有哪些亮点: 系统设计亮点: 1.多厂商芯片兼容 —— 同时跑 NVIDIA 和华为昇腾 2.PD 分离 —— Prefill 用普通 8 卡机,Decode 用 64–128 卡超节点,按两阶段负载特性分别设计 3.KVCache 长保留 —— 把"缓存留 3 天"的容量与管理开销写进系统设计 技术亮点: ① SWA Bounded Replay(全文最有价值的一段) SWA KVCache 不落盘 ② Decoder SWA Bounded Replay 让 prefill 计算几乎减半 ③ DSpark 投机解码+变长验证 ④ 零开销批调度 ⑤ Prefill 负载均衡用「拟合二次代价模型」反解出每步能放多少 token ⑥ DeepSeek Recipe 的 tokenizer 加速 更详细的,还是自已看知乎吧 https://zhuanlan.zhihu.com/p/2095560295930508953

x.com/leo114119/status/2112609162597478447采集于 2026.10.21 12:10