本地优化 V4.1 Flash：单流 270 tok/s、131k prefill 7700 tok/s

Hikari∣LocalLLM⚡ @Hikari_07_jp原推发布于 2026.10.18

在 X 上打开原推

Deepseek v4.1 flash 1017を最適化するためだけにClaudeを契約してCUDAカーネルのボトルネックを調べて改善させてる。 カーネル改善ループが始まりつつあって、現時点でDSpark込のシングルストリーム270tok/sくらいは出てるよ。Prefillはコードで131kが7700tok/s Deepseek V4.1はKVキャシュの圧縮率がおかしくて、RTX PRO 6000を4つ用意してあげるとFP8で5Milion ctxくらい入るんだよね。256kのエージェントが20並列で推論できる。 もうそろそろ寝るから今日の午後まで推論最適化ループを回して、起きたらAblitrated作業に入る予定だよ。Ablitratedは丁寧にやりたいので、来週の中頃にリリースすると思う。 お楽しみに〜！