Strata runs quantized DeepSeek V4.1 Flash on 12GB of VRAM
The open-source Strata project offloads MoE experts to RAM and SSD so a 12GB GPU can run quantized DeepSeek-V4.1-Flash-1017; the 2.00 bpw build is about 257GB and wants 46GB+ RAM and an NVMe SSD.
卧槽！！Strata：12G显存跑DeepSeek，8G显存跑Qwen，怎么做到的？ 想跑本地模型，很多人先被显卡价格劝退了。研究员开源项目 Strata，提供了另一种选择。 按项目公布的记录，12GB显存的显卡可以运行 DeepSeek-V4.1-Flash-1017 的量化版本，8GB显存也有运行 Qwen3.8-Flash-Next 的案例。不过，内存和SSD得跟上，光有一张显卡不够。 它的办法很好理解：把显存当办公桌，内存当资料柜，SSD当仓库。常用的东西摆在手边，其他东西需要时再取。 这两个模型采用“混合专家”结构，每一步只调用部分专家。Strata 把常用专家留在显存里，让CPU分担一些计算，再从内存或SSD补充需要的数据。模型不用全部挤进显存，普通电脑也就有了运行的机会。 当然，搬数据也是需要时间的。以 DeepSeek 的2.00 bpw版本为例，整套下载约257GB，项目建议至少46GB内存，64GB是已测试的配置，还需要NVMe SSD。Qwen的内存需求则随量化版本变化，常见方案需要48GB或64GB。 Strata提供桌面界面，也能通过兼容接口接入编程工具。对想在本地聊天、写代码、处理资料的人来说，它值得先试试，尤其是在花几万元买设备之前，拿自己电脑跑一跑，看看效果。 项目地址：http://github.com/Niko1221/Strata