DwarfStar 本地推理核验：8×L40S 上 126 t/s 是 16 会话总吞吐，单用户约 7.9 t/s

TryAI Lab · AI工具实测 @TryAiLabHQ原推发布于 2026.10.23

在 X 上打开原推

Redis 之父下场做本地推理了🚀 DwarfStar，我把他仓库从头到尾扒了一遍，24k stars 不是白来的 先说这是谁：antirez = Salvatore Sanfilippo，Redis 作者本人。仓库 http://github.com/antirez/ds4，今年 5 月创建，GitHub API 实测 24,017 stars / 2,324 forks，4 天前还在推代码。注意语言是**纯 C**，不是 Python 套壳玩具。 这次是核验型实测：我本机没 Mac 也没 GPU，跑不了推理，所以把 README、文档、API 数据逐项核了一遍。不冒充跑过，数字都有出处👇 1️⃣ 支持的模型（README 原文）：DeepSeek V4 Flash（含实验性 vision）、V4.1 Flash、GLM 5.2/5.3、GLM 5.3 Flash、DeepSeek V4 PRO、Qwen3.8 Flash Next。策略很反常识：**故意做窄，不做通用 GGUF 运行器**——必须用项目自己产出的 GGUF 文件。作者原话 "Model support is intentionally opportunistic"，只跟最好的开源权重，有更好的就换掉旧的 2️⃣ 126 t/s 的小字我找到了：8×L40S、Q4 量化、16 会话、10 万上下文。文档原文写得明明白白——"This is total throughput, not the speed of one user." **这是 16 个会话加起来的总吞吐，单用户约 7.9 t/s**。宣传没说谎，但不读小字真会误会 3️⃣ 硬件门槛（README 原文）：Metal 是主目标，Mac 64GB 跑 Qwen Flash Next、96GB+ 跑 DeepSeek/GLM，内存不够有 SSD streaming 兜底；CUDA 以 DGX Spark 为主目标，老 Ada 卡（如 L40S）也能跑；ROCm 支持 Strix Halo。两台 128GB Mac 还能用 RDMA 做 tensor parallel 4️⃣ 最有时代感的一段：README 里有个 "AI full disclosure"——作者公开承认**这软件是 AI coding agent 强力辅助、人主导想法和测试写出来的**，不喜欢 AI 写代码的可以直接劝退。2026 年了，顶级程序员也开始给 AI 署名了 5️⃣ 模型选得准：V4 Flash 284B 总参数但只有 13B 激活（仓库 MODEL_CARD 扒的官方卡片），1M 上下文——Flash 类 MoE 小激活模型正是本地化的甜点，又强又塞得进消费级硬件 ⚠️ 劝退预警也是原文：beta quality，变化极快，"instabilities and regressions are definitely possible"。现在上手=当小白鼠，要有心理准备 💰 算笔账：软件 MIT 免费，真正的价格是硬件——一台 96GB+ 的 Mac 或几张 GPU。对比云端 API，这是"一次性硬件投入换长期零边际成本"的账，跑得多的人才划算 说实话我的判断：这是本地推理赛道目前最认真的个人项目之一——不贪大、专精几个模型、工程扎实。但门槛是真实的：特定 GGUF、大内存、特定硬件，三条至少占一条。126 t/s 等独立第三方复测，我先按"作者自报+QA 记录"看。 📌 觉得有用记得收藏，持续亲手实测，只说真话