DeepSeek V4.1 Flash on a 12GB RTX 3060: 8–9 tok/s via Strata

0xMomo @0xmomoniftyOriginally posted 2026.10.25

Open original on X

最近折腾本地大模型，真切感受到消费级显卡的门槛正在被按天踩碎，速度太快了 前段时间用 Strata 在我老旧 12G 的 3060 上跑 Qwen 3.8 Flash Next，稳定输出 70+ tokens/s，速度完全够格，可以非常稳定的玩一些在线不能跑的比如 REA 昨天看 Strata 0.2.4 更新支持了 DeepSeek V4.1 Flash，我也赶紧让 Grok Bot 拉下来试了一把 实测大概在 8~9 tokens/s 左右，说实话这个速度还当不了主力生产力，但想想看，这可是以前得砸大几十万买多卡服务器才敢碰的巨无霸，现在居然真在我的消费级显卡上跑通了，这种之前无法想象的震撼感还是很强的 而且这两天刚出的 gpu-unlock，居然直接从底层把老黄对消费级显卡的 BF16/FP16 算力限制给破解了（吞吐暴涨 50%+） 一边是软件架构硬跑大参数的模型了，一边是硬件破解消费级显卡算力，本地跑模型的上限又被强行拔高了一个量级 以后 AI 能够低门槛的进入寻常百姓家，作为家庭的 AI 中枢了 https://x.com/coldniko/status/2113835370869583983/video/1