Strata 0.2.7: MoE disk-IO rework lets 12GB GPUs run DeepSeek V4.1 Flash locally
Strata 0.2.7 reworks expert-weight loading and adds adaptive attention buffering, claiming 47% faster 4K prompts and 33% faster 8K prompts on an RTX 5070 12G and 342 tok/s peak prompt reads on Strix Halo.
🔥史诗级优化！Strata 0.2.7更新，盘活本地DeepSeek-V4.1-Flash推理！ 新版本直击MoE模型IO短板，重构底层读取逻辑，不再反复从SSD加载专家权重，搭配自适应注意力缓冲、内存调度优化，大幅缓解长Prompt加载卡顿，消费级设备体验显著提升。 ✅ RTX 5070 12G｜4K Prompt提速47%、8K Prompt提速33% ✅ Ryzen AI Max Strix Halo｜Windows原生适配，32K词表Prompt读取峰值可达342 tok/s ✅ 四卡Radeon AI PRO R9700｜默认5专家模式，暖启动Prompt提速超40%，输出质量基本不变 ✅ 视觉能力默认开启，支持手动切换512K/1M超大上下文，默认基线为8K 本地部署MoE模型，瓶颈往往不是算力，而是反复磁盘读取带来的延迟。 Strata 0.2.7瞄准这个痛点优化，12GB显存搭配大内存的普通设备，也可以稳定运行这款高性能开源模型，降低本地高端AI的部署门槛。 GitHub仓库地址：https://github.com/Niko1221/Strata/releases/tag/v0.2.7
This post quotes another post: x.com/xiax0603/status/2115130408530796840