llama.cpp PR 实测：763B V4.1-Flash 在 5090 上 23.79 tok/s

ハカセ アイ(Ai-Hakase)🐾生成AI・ComfyUI @ai_hakase_原推发布于 2026.10.26

在 X 上打开原推

【DeepSeek-V4.1-Flashをローカル環境で動かすllama.cppの設定とパフォーマンス検証】 llama.cppのPR #31086にて提案されている、約763Bパラメータの巨大モデル「DeepSeek-V4.1-Flash」のローカル実行検証データが公開されました！ Ryzen 9 9950X3DとRTX 5090、192GB RAMを搭載した環境で、GGUF量子化バリアント（UD-IQ2_XXS）を用いた実測値が示されています。実行時のメモリ消費量はRAMが約174.4GB、VRAMが約29.5GBに達するそうです！ 注目すべきポイントは、モデル設定における「moe-cache-mib = 10000」の追加で、これがMoE（Mixture of Experts）モデルのパフォーマンス向上に非常に大きな効果を発揮するとのこと。さらに、override-tensorによるCPUオフロードやn-cpu-moeの調整を組み合わせることで、プロンプト処理が約324.40 tokens/sec、トークン生成が約23.79 tokens/secで動作していますね。超巨大モデルをローカルで運用する際の良いリファレンスになりそうです！ #llama.cpp #DeepSeek