DeepInfer 解析：合并 FlashMLA/DeepGEMM/DeepEP，DSpark 投机解码加速 V4.1
土耳其语长帖拆解 DeepSeek 开源的推理引擎 DeepInfer：整合 FlashMLA、DeepGEMM、DeepEP，Apache 2.0 许可，DSpark 用 5 token 草稿模型加接受预测做投机解码；目前只支持 V4.1 Flash，速度数据尚无独立验证。
DeepSeek, kendi API’sinin arkasında çalışan inference motorunu açık kaynak yaptı. Adı DeepInfer Yani model ağırlıklarını değil, o ağırlıkları hızlı ve ucuz bir servise çeviren yazılımı açtılar. Bu katmanı bugüne kadar büyük laboratuvarlarda hep kapalı kutu olarak görüyorduk. İçinde neler var: → DeepSeek’in daha önce ayrı ayrı açtığı FlashMLA, DeepGEMM ve DeepEP tek bir motorda birleşmiş → Nvidia’nın yeni nesil GPU’ları ile Huawei Ascend 950 aynı seviyede destekleniyor → Motor Apache 2.0, model ağırlıkları MIT lisanslı Hızın önemli kısmı speculative decoding’den geliyor. Büyük model her kelime için tüm ağırlıklarını bellekten tekrar tekrar okuyor, yavaşlığın asıl sebebi bu. Küçük bir taslak model önden birkaç kelime tahmin ediyor, büyük model hepsine tek seferde bakıp “bu doğru, bu doğru, bu yanlış” diyor. Doğrular kalıyor, yanlıştan sonrası atılıyor. Çıktı aynı kalıyor, sadece daha hızlı geliyor. DeepInfer’de bunu DSpark yapıyor: taslak model 5 token öneriyor, ayrı bir katman da hangilerinin kabul edileceğini önceden tahmin ediyor. Böylece büyük modele tutmayacak tahminleri boşuna kontrol ettirmiyor. DSpark da DeepSeek’in Haziran’da ayrıca açtığı kendi yöntemi. Sınırları da var: → Şimdilik sadece DeepSeek V4.1 Flash çalışıyor → KV cache, yük dengeleme gibi parçaları kendimiz kurmamız gerekiyor → Hız rakamları DeepSeek’in kendi paylaşımlarına dayanıyor, bağımsız bir test henüz yok Bundan sonra neyi değiştirebilir: → vLLM, SGLang gibi açık motorlar bu teknikleri kendi içlerine alabilir, böylece DeepSeek dışındaki modeller de hızlanabilir → Açık modelleri sunan şirketler aynı donanımla daha çok kullanıcıya hizmet verip fiyatları aşağı çekebilir → Huawei çipleri Nvidia ile aynı seviyede desteklendiği için büyük modelleri Nvidia olmadan servis etmek artık deneme değil, çalışan bir seçenek → DSpark’ın eğitim kodu Qwen ve Gemma için de hazır, yani kendi modelimize taslak model eğitip hızlandırmak mümkün Evde çalıştıracağımız bir şey değil. Ama büyük bir laboratuvarın inference’ı nasıl bu kadar ucuza getirdiğini artık kodun içinden okuyabiliyoruz.
这条是引用着另一条写的：「DeepSeek 开源推理框架 DeepInfer，支撑 V4.1 Flash 生产服务」