deepseek-v4.1POST
V4.1 Flash 1017 在 4 台 DGX Spark 上跑 TensorFold：单用户 89.8 tok/s
本地部署实测：LibertAI 3.5bpw EXL3 量化、无需新 kernel，单用户 89.8 tok/s（vLLM 为 48.5），6 用户 202.9 tok/s。
Tech2Wild
@Tech2Wild12 天前收录原推发布于 2026.10.18
Tech2Wild @Tech2Wild原推发布于 2026.10.18
🚀 DeepSeek V4.1 Flash 1017 now runs on TensorFold across 4 DGX Sparks ⚡️ 89.8 tok/s for 1 user (vLLM: 48.5) 🔥 202.9 tok/s with 6 users 🧠 LibertAI's 3.5bpw EXL3, every matrix 🛠️ No new kernels needed New default lane in the repo 👇 https://github.com/tonyd2wild/DeepSeek-V4.1-Flash-vLLM-DGX-Spark
x.com/tech2wild/status/2111658473138102300采集于 2026.10.18 16:25