deepseek-v4.1POST
DeepSeek V4.1 Flash on llama.cpp: long-context slowdown diagnosed and mitigated
Running DeepSeek V4.1 Flash locally via a llama.cpp PR started at 27 tok/s and dropped to 11 tok/s at 50k tokens; after a fix it only falls to 24 tok/s, though agent use still fails, so the author will try Unsloth next.
きしだൠ(K1S)
@kisArchived 10 days agoOriginally posted 2026.10.21
きしだൠ(K1S) @kisOriginally posted 2026.10.21
DeepSeek V4.1 Flashをllama.cppのPRで試したら最初は27tok/secだったのが5万トークンで11tok/secに落ち込んだりしてたのの原因がわかったので対処したら24tok/secまでしか落ちなくなったけど、エージェント使えなかったのでUnsloth版を次回試す、というのまとめました https://nowokay.hatenablog.com/entry/2026/10/21/210154
x.com/kis/status/2112877697601098091Archived 2026.10.22 12:01