本地部署IMAGE
Optimized DeepSeek V4.1 Flash 1017 inference hits 744 tok/s at 97% cache hit
The author reports reaching 744 tokens per second on DeepSeek V4.1 Flash 1017 with a 97% cache hit rate after inference optimization, without detailing hardware or quantization.
CV.YH
@0xCVYHArchived 9 days agoOriginally posted 2026.10.23
CV.YH @0xCVYHOriginally posted 2026.10.23
Com a otimização que fiz na inferência do Deepseek V4.1 Flash 1017, estamos chegando a rodar 744 tokens por segundo com 97% de cache hit. Sinto que quanto mais me aprofundo em otimização e aprendizado da inferência eu vou conseguir impactar mais pessoas. Venham pro Cultura Builder.
x.com/0xcvyh/status/2113349939027956208Archived 2026.10.23 12:07