Strata 0.2.4 runs DeepSeek V4.1-Flash locally: about 8–10 tok/s on a 3060 12GB with 46GB RAM
The 763B-parameter model ships in 1.75/2.00/2.25-bit quantizations totaling 239–274GB split across VRAM, RAM and NVMe; 2.00-bit raises perplexity 15.5%, and image input and parallel requests are disabled.
Strata 0.2.4 で DeepSeek の大型モデルがローカルで動く、という報告を見て調べた。 Strata は 1 つのチェックポイントを VRAM / RAM / NVMe に分割して載せる推論エンジン（README によると C++20/CUDA で、ランタイムに Python は無い）。10/24 のリリースノートに「Terminal で DeepSeek V4.1-Flash が動く」と書いてあった。 モデルの重みは Hugging Face の公式リポジトリで、safetensors のメタデータの合計が 7,632 億（763B）。config.json にも 40 層・各層 384 experts・1 語に 6 使用がそのまま書いてあった。Strata 側は 10 月版（V4.1-Flash-1017）の量子化 3 種（1.75 / 2.00 / 2.25 bit）を使い、本体 + n-gram テーブル（Engram）で合計 239 / 257 / 274 GB。docs の実測表の一例だと RTX 3060（12GB）+ 46GB RAM で 8〜10 tok/s（この構成では下書きモデルはオフのときの値）。同じ表に RTX 5070 + 64GB RAM で約 4.7 tok/s という結果も載っていて、構成でかなり変わるらしい。 デメリットも docs に載ってる。画像入力と並列リクエストはこの版では無効、RAM 40GB 未満は未検証。量子化による品質低下も実測値（2.00bit で perplexity +15.5% など）付きで書いてある。リリースノートだとアプリ本体は 0.2.3 のままなので、DeepSeek は Terminal 側だけの対応。10/25 の 0.2.6 で RAM に余裕のある PC の速度が上がった。ライセンスは MIT。 推測だけど、8〜10 tok/s は対話には少し遅いので、コードを書いて放置する用途なら実用域なんじゃないか。 #LocalLLM #DeepSeek #MoE #推論エンジン