deepseek-v4.1POST

DwarfStar 上 V4.1 Flash 经 Metal 优化从 18.5 提到 31.3 tok/s

作者用 Metal decode fusion 把 DwarfStar 里 V4.1 Flash 的生成速度从 18.5 tok/s 提到 31.3 tok/s，接近 Unsloth 版 llama.cpp，但仍不及 oMLX 的 38.5 tok/s。

きしだൠ(K1S)

@kis3 天前收录原推发布于 2026.10.26

きしだൠ(K1S) @kis原推发布于 2026.10.26

在 X 上打开原推

DwarfStarのDeepSeek V4.1 Flash、18.5tok/secだったのを、31.3tok/sec、Unsloth版llama.cppと同じくらいに高速化した。けどoMLXの38.5には届かないな。やはりGGUFの展開が重い https://github.com/kishida/ds4/tree/v41-metal-decode-fusion2

x.com/kis/status/2114440981340926254采集于 2026.10.26 12:04