DeepInfer explained: merged FlashMLA/DeepGEMM/DeepEP and DSpark speculative decoding for V4.1 Flash
A detailed thread explains DeepSeek's open-source DeepInfer engine: FlashMLA, DeepGEMM and DeepEP merged under Apache 2.0, DSpark speculative decoding with a 5-token draft model, V4.1 Flash only for now, and no independent speed benchmarks yet.
DeepSeek, kendi API’sinin arkasında çalışan inference motorunu açık kaynak yaptı. Adı DeepInfer Yani model ağırlıklarını değil, o ağırlıkları hızlı ve ucuz bir servise çeviren yazılımı açtılar. Bu katmanı bugüne kadar büyük laboratuvarlarda hep kapalı kutu olarak görüyorduk. İçinde neler var: → DeepSeek’in daha önce ayrı ayrı açtığı FlashMLA, DeepGEMM ve DeepEP tek bir motorda birleşmiş → Nvidia’nın yeni nesil GPU’ları ile Huawei Ascend 950 aynı seviyede destekleniyor → Motor Apache 2.0, model ağırlıkları MIT lisanslı Hızın önemli kısmı speculative decoding’den geliyor. Büyük model her kelime için tüm ağırlıklarını bellekten tekrar tekrar okuyor, yavaşlığın asıl sebebi bu. Küçük bir taslak model önden birkaç kelime tahmin ediyor, büyük model hepsine tek seferde bakıp “bu doğru, bu doğru, bu yanlış” diyor. Doğrular kalıyor, yanlıştan sonrası atılıyor. Çıktı aynı kalıyor, sadece daha hızlı geliyor. DeepInfer’de bunu DSpark yapıyor: taslak model 5 token öneriyor, ayrı bir katman da hangilerinin kabul edileceğini önceden tahmin ediyor. Böylece büyük modele tutmayacak tahminleri boşuna kontrol ettirmiyor. DSpark da DeepSeek’in Haziran’da ayrıca açtığı kendi yöntemi. Sınırları da var: → Şimdilik sadece DeepSeek V4.1 Flash çalışıyor → KV cache, yük dengeleme gibi parçaları kendimiz kurmamız gerekiyor → Hız rakamları DeepSeek’in kendi paylaşımlarına dayanıyor, bağımsız bir test henüz yok Bundan sonra neyi değiştirebilir: → vLLM, SGLang gibi açık motorlar bu teknikleri kendi içlerine alabilir, böylece DeepSeek dışındaki modeller de hızlanabilir → Açık modelleri sunan şirketler aynı donanımla daha çok kullanıcıya hizmet verip fiyatları aşağı çekebilir → Huawei çipleri Nvidia ile aynı seviyede desteklendiği için büyük modelleri Nvidia olmadan servis etmek artık deneme değil, çalışan bir seçenek → DSpark’ın eğitim kodu Qwen ve Gemma için de hazır, yani kendi modelimize taslak model eğitip hızlandırmak mümkün Evde çalıştıracağımız bir şey değil. Ama büyük bir laboratuvarın inference’ı nasıl bu kadar ucuza getirdiğini artık kodun içinden okuyabiliyoruz.
This post quotes another post: “DeepSeek open-sources DeepInfer, the inference framework behind V4.1 Flash”