Jev sorts 100 emails in 1.42s, passing low-confidence ones to Kimi K3
In a demo, Jev classified 100 emails in 1.42 seconds and handed the 31 with confidence below 95% to Kimi K3, with the two models together reaching 96% accuracy.
100 e-postayı sınıflandırmak sadece birkaç cent tuttu ve saniyeler içinde bitti. Together AI’den Hassan El Mghari’nin paylaştığı demo tam olarak bunu gösteriyor. Kullandığı yapı oldukça basit. TypeSafe’in yeni modeli Jev, e-postaya bakıp uzun bir açıklama yazmıyor. Sadece karar veriyor. Bu meşru mu, yoksa dolandırıcılık mı? Bir de yanına güven skoru bırakıyor. Testte 50 normal, 50 şüpheli e-posta var. Jev bu 100 e-postanın tamamını 1,42 saniyede sınıflandırmış. Maliyeti de kabaca birkaç mil seviyesinde. Asıl ilginç kısım ise burada başlıyor. Jev’in güveni %95’in altında kaldığında karar ikinci modele devrediliyor. Bu testte 31 e-posta Kimi K3’e gitmiş. Yani hızlı ve ucuz model önce tüm trafiği süzüyor, sadece emin olamadığı örnekleri daha büyük modele gönderiyor. İki model birlikte 100 e-postanın 96’sını doğru sınıflandırmış. Fikir aslında yeni değil. Küçük bir model çoğu işi yapıyor, zor vakalarda büyük model devreye giriyor. Ama Jev’in güven skoru bu akışı kurmayı kolaylaştırıyor. Model “eminim” diyorsa devam et, tereddüt ediyorsa ikinci modele sor. Bence bu yaklaşımın güzel tarafı da burada. Her işi tek bir büyük modele yığmak zorunda değilsiniz. Basit sınıflandırmayı hızlı modele bırakıp pahalı modeli sadece gerçekten gerektiğinde çağırabiliyorsunuz. Tabii bu test küçük. 100 örnek var ve veri seti 50/50 dengeli. Gerçek hayatta dolandırıcılık oranı bu kadar yüksek olmayabilir. Yanlış alarmın maliyeti de farklıdır. Ayrıca Jev kararın nedenini açıklamıyor; etiket ve skor veriyor. Üretimde eşik seçimi, gerçek veri dağılımı, izleme ve insan denetimi yine ayrı mesele. Yani buradan “Jev e-posta güvenliğini çözdü” sonucu çıkmaz. Net olan her sınıflandırma için en büyük modeli kullanmak artık gereksiz bir lüks olabilir. Dar işi hızlı modele, şüpheli vakayı ağır modele bırakmak hem maliyet hem gecikme tarafında gayet mantıklı bir mimari haline geliyor. Kaynaklar: https://x.com/nutlope/status/2100614659690713543 https://typesafe.ai/blog/introducing-system-one-models-and-jev https://docs.typesafe.ai/introduction https://www.together.ai/models/kimi-k3
This post quotes another post: “Jev plus Kimi K3 reaches 96% accuracy on fraud email detection”