deepseek-v4.1POST
DeepSeek V4.1 Flash local deployment: 763B params, 510GB weights fit 256GB machines
Deployment breakdown: offloading the ~203GB Engram table to SSD and quantizing the rest makes 256GB setups viable, following prior 2-bit Mac Studio and dual DGX Spark EXL3 recipes.
ゲノムちゃん
@rna4219Archived 10 days agoOriginally posted 2026.10.17
ゲノムちゃん @rna4219Originally posted 2026.10.17
ローカル実行について。 DeepSeek V4.1 Flashは約763Bパラメータ、 公開ウェイト約510GBという巨大モデルですが、 約203GBはEngramの検索テーブル。 ここをSSDに退避し、残りを量子化することで256GB級のメモリ環境でも動かせます。 実際、旧V4.1ではMac Studio 256GBでの2bit推論、 DGX Spark 128GB×2台での EXL3平均2.70bpw推論が報告されています。 後者はオリジナルに近い品質評価も出ています。 パラメータサイズについてハッシュ値まで見ていないですが、ほぼ同様と見てレシピを流用して動かすことができるでしょう。 つまり、これだけの性能を持つモデルが、大容量Mac StudioやDGX Spark 2台という個人所有可能な機材で動く射程に入っています。 私としてはGLM-5.3同等の性能のモデルが動かせればいいので、おかげさまでDGXを購入する数が1個減りました！
This post quotes another post: x.com/deepseek_ai/status/2111375640717033777
x.com/rna4219/status/2111409473478905899Archived 2026.10.18 16:45