双 DGX Spark 上 TensorFold 跑 V4.1 Flash：解码提速 2.1–2.4 倍

ハカセ アイ(Ai-Hakase)🐾生成AI・ComfyUI @ai_hakase_原推发布于 2026.10.19

在 X 上打开原推

【DeepSeek-V4.1-FlashをTensorFoldで爆速化！】 2基のDGX Spark環境で「DeepSeek-V4.1-Flash-1017」モデルをEXL3 2.9bpw量子化し、TensorFoldエンジンで実行した検証結果が公開されています！ vLLMキットと比較して、デコード速度やプレフィル速度で約2.1〜2.4倍の高速化を達成しているのがすごいですね！テキストデコードは56.8 tok/s、コードは92.2 tok/sを記録しています。 さらに、1Mトークン（1,034,753トークン）の長文脈プレフィルでも1,246 tok/sでニードル検出に成功しています！内蔵ドラフトヘッド（DSpark）による推測デコードや、再起動後も生存するプロンプトキャッシュなど実用的な機能も充実していますね。 #DeepSeek #TensorFold