Strata 0.2.6: DeepSeek V4.1 Flash hits 16.7–22.7 tok/s on a 16GB RTX 4080 Super
The MIT-licensed Strata 0.2.6 runs V4.1 Flash at IQ2_XXS on a 16GB RTX 4080 Super with 128GB RAM, lifting generation from 10 to 16.7–22.7 tok/s and doubling prefill.
💥速度翻倍！16G消费显卡，本地流畅跑DeepSeek V4.1-Flash-1017 MIT开源本地AI工具Strata迎来0.2.6版本升级，消费级显卡本地跑大模型的体验大幅跃升。 以RTX 4080 Super 16G搭配128G内存实测，开启IQ2_XXS量化、8K上下文条件下，生成速度从10token/s提升至16.7–22.7token/s，Prefill阶段同样实现翻倍优化。 官方针对大内存设备做了专家载入RAM优化，单卡、多卡R9700都有稳定提速，Faster模式还能再追加16%速度增益。 DeepSeek V4.1-Flash-1017本身基准成绩同步上涨，Terminal-Bench提升11.1分，适合本地代码、日常对话场景。 无需云端账号，支持N卡、AMD、苹果M系列多硬件，一键启动本地API。 更新地址：https://github.com/Niko1221/Strata 官方模型：https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash-1017 量化权重：https://huggingface.co/ISTA-DASLab/DeepSeek-V4.1-Flash-1017-IQ2_XXS
This post quotes another post: x.com/xiax0603/status/2114684637767442894