Tide LM 改用 Rust 重写：双 DGX Spark 跑 V4.1 达 31.8 tok/s

Tide LM 引擎用 Rust 重写后，两台 DGX Spark 上跑 DeepSeek V4.1 原生 MXFP4，散文类生成 31.8 tok/s，实际使用约 38 tok/s。

nunomo

@nunomo12 天前收录原推发布于 2026.10.26

Tide LM 改用 Rust 重写：双 DGX Spark 跑 V4.1 达 31.8 tok/s

nunomo @nunomo1原推发布于 2026.10.26

Tide LM Update: - Engine rewritten by Rust. Token/s is boosted to 31.8 tok/s on prose. In real use case about 38 tok/s. (DS v4.1) For two DGX sparks. Two options: - DeepSeek v4.1 native MXFP4 - GLM 5.3 Full EXL3 https://github.com/raspy135/tideLM

x.com/nunomo1/status/2114418988025594116采集于 2026.10.26 12:03

在 X 上打开原推