DeepSeek V4.1 Flash 8K with Strata on an RTX 5090: 8–10 tok/s at 31.4GB VRAM
A local test of DeepSeek V4.1 Flash 8K with Strata on Windows 10, an RTX 5090 32GB and 64GB DDR5 measured about 8–10 tok/s at 31.4GB VRAM, with commenters arguing API use is cheaper than the power bill.
【RTX 5090でのDeepSeek V4.1ローカル実行検証！およそ8〜10 tok/sという実測値と実用性の議論】 Windows 10環境のNVIDIA GeForce RTX 5090（VRAM 32GB）と64GB DDR5 RAMを搭載したPCで、大規模言語モデル「DeepSeek V4.1 Flash 8K（Strata適用）」をローカル実行した際のパフォーマンス検証が話題になっています！ Lexar製4TB NVMe SSDなども備えた環境でのトークン生成速度はおよそ8〜10 tok/s程度を記録しているんです。 VRAM使用量が31.4 GBと限界近くまで達する巨大モデルが手元で稼働するという技術的な面白さがある一方で、消費電力に対する電気代のコストパフォーマンスを考えると、APIを利用する方が安価であるという実用上の課題が指摘されていますね。 また、コメント欄ではQwen系モデルや「Basaltフォーマット」（IQ3_SやNVFP4など）を活用した別の選択肢も議論されており、約160〜300 tok/sという高速動作との比較や、マルチチャネルによるメモリ帯域のボトルネック解消といったローカル推論の深い知見が共有されています！ #ローカルLLM #DeepSeek