Sharded MoE locally: DeepSeek V4.1 Flash on one RTX 3060 with 46GB RAM

Boschetto @amaty1864Originally posted 2026.10.26

Open original on X

Qwen4 と DeepSeek、別々のニュースだけど、自分は同じ話として読んだ。 片方は「学習中」だけでスペックをまだ出していないモデル。もう片方は、200GB 超の MoE を VRAM / RAM / NVMe に分割して載せるエンジンが、RTX 3060 1 枚 + 46GB RAM で動かすと報告している（Strata の docs より）。 推測だけど、大型化の限界を MoE と検索型の機構で回避する流れが、2026 年のオープンウェイトの主流なんじゃないか。Qwen4 のアーキテクチャプレビュー（Qwen3.8-Flash-Next）は 125B-A6B + n-gram だったし、DeepSeek V4.1-Flash も 384 experts から 6 個だけ使う設計。方向が似てる。 感想としては、ローカルで「動く」はもう着地点だと思う。ただ 8〜10 tok/s を体感できるかは自分の PC 次第で、RAM 40GB 未満は未検証と書いてある。実用域かどうかは、速度より「待ち時間が気にならない使い方をする側」が勝つ話なんじゃないか。 試してる人いますか。 #LocalLLM #Qwen #DeepSeek #MoE #AI