DGX Spark ring vs switch TP4/TP8 results, plus DeepSeek V4.1 Flash ring tuning
A write-up summarizes NVIDIA's DGX Spark ring-vs-switch TP4/TP8 throughput numbers on Qwen3.8-27B and adds the author's earlier DeepSeek V4.1 Flash TP4 ring results, where relaying RoCE cut decode step time and lifted concurrent output 13–18%.
NVIDIAの公式記事でDGX Sparkのリング直結 vs スイッチ接続のTP4,TP8比較記事があったので整理(10/22なので2日前） ※ スイッチ側だけRoCEnanteありで計測してるのでリング側が不利な条件かも ※リングの対角ノード間の通信経路や中継方法の詳細は未記載だった ▫️モデル Qwen3.8-27B NVFP4 （MTPなし 同時1本 入力8k/出力256） ▫️数値 【TP4：4台構成】 Prefill ・リング直結：4,446 tok/s ・スイッチ接続：4,556 tok/s（+2.5%） Decode ・リング直結：32.82 tok/s ・スイッチ接続：36.34 tok/s（+10.7%） 【TP8：8台構成】 Prefill ・リング直結：4,962 tok/s ・スイッチ接続：5,105 tok/s（+2.9%） Decode ・リング直結：40.11 tok/s ・スイッチ接続：52.58 tok/s（+31.1%） ▫️感想 TP４スイッチありだと出力が10%向上 TP8だとdecodeの差が目立つのでスイッチは必須級 （そもそもTP8リングどうやったのだろうか、、床に大きな輪っかを作ることになりそう） ▫️コスパは？ 金額に占める割合でいえば、スイッチ30万として TP4 400万:30万 で+10%の出力速度なら妥当 TP8 800万:30万 だと+30%の向上なので必須級 ▫️リング方式はもっと高速にできるのか？ DeepSeek-V4.1-Flash TP4 を以前TP4リング方式で計測した時、隣接ノードのNICに対角への通信を中継させて RoCEnante を動かしたら ・decode 1ステップ：39.8ms → 34.5ms ・散文出力：同時1本 +18%、同時2本 +13% まで改善できたので、差は記事の数値より埋まりそうではある