DeepSeek V4.1 Flash on dual DGX Spark with TensorFold: 2.1–2.4x faster decoding

ハカセ アイ(Ai-Hakase)🐾生成AI・ComfyUI @ai_hakase_Originally posted 2026.10.19

Open original on X

【DeepSeek-V4.1-FlashをTensorFoldで爆速化！】 2基のDGX Spark環境で「DeepSeek-V4.1-Flash-1017」モデルをEXL3 2.9bpw量子化し、TensorFoldエンジンで実行した検証結果が公開されています！ vLLMキットと比較して、デコード速度やプレフィル速度で約2.1〜2.4倍の高速化を達成しているのがすごいですね！テキストデコードは56.8 tok/s、コードは92.2 tok/sを記録しています。 さらに、1Mトークン（1,034,753トークン）の長文脈プレフィルでも1,246 tok/sでニードル検出に成功しています！内蔵ドラフトヘッド（DSpark）による推測デコードや、再起動後も生存するプロンプトキャッシュなど実用的な機能も充実していますね。 #DeepSeek #TensorFold