Strata 0.2.6 doubles local DeepSeek V4.1 Flash speed on a 4080 Super
On a 16GB 4080 Super with 128GB RAM at IQ2_XXS, generation rose from ~10 to 16.7–22.7 t/s at 15.4GB VRAM, and official RAM-expert loading adds ~24% agent decode speed.
🚨卧槽Strata升级啦！DeepSeek V4.1-Flash-1017 在 Strata 0.2.6 上速度直接翻倍！ 一张 16G 消费级显卡 + 大内存，本地跑 763B 参数模型，从“勉强能聊”变成“日常完全够用”。 实测对比（RTX 4080 Super 16G + 128G DDR4 · IQ2_XXS · 8K 上下文） 🔹生成速度：旧版约 10 t/s → 新版 16.7–22.7 t/s（翻倍以上） 🔹Prefill：旧版约 4 t/s → 新版 8–22 t/s 🔹显存占用 15.4G，缓存 853 个专家，内存约 107G，日常聊天流畅无压力 官方大内存优化（专家全载入 RAM） 🔹1× R9700 + 251GB：agent 解码 21.9 → 27.1 tok/s（+24%） 🔹4× R9700：agent 74.2 → 83.3 tok/s 🔹Faster 模式（5/6 专家）额外再快约 16% 模型本身 11 项基准全涨（DeepSWE 77.0 超 Opus 5、Terminal-Bench +11.1 等），输出更短，MIT 开源。 使用步骤： 1️⃣下载最新版：https://github.com/Niko1221/Strata/releases/latest 2️⃣安装后运行 strata launch 或打开桌面 App，自动匹配引擎 3️⃣模型选择器选 DeepSeek V4.1-Flash-1017（推荐 IQ2_XXS 2.00 bpw） 4️⃣内存充足自动全载专家；低显存可开 Faster 模式，启动即用本地 API 一个版本速度翻倍，后面还值得期待 🫡 更新地址：https://github.com/Niko1221/Strata 官方模型：https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash-1017 量化权重：https://huggingface.co/ISTA-DASLab/DeepSeek-V4.1-Flash-1017-GSQ-RCO-GGUF #DeepSeekV41Flash1017 #Strata #LocalLLM #本地部署 #MoE #开源AI #梁文峰 #梁圣
This post quotes another post: x.com/nft_chen/status/2113854991958176118