用 Jev 做邮件分类，低置信度转交大模型
Jev 1.42 秒分类 100 封邮件，置信度低于 95% 的 31 封转给 Kimi K3，两模型合计准确率 96%。
100 e-postayı sınıflandırmak sadece birkaç cent tuttu ve saniyeler içinde bitti. Together AI’den Hassan El Mghari’nin paylaştığı demo tam olarak bunu gösteriyor. Kullandığı yapı oldukça basit. TypeSafe’in yeni modeli Jev, e-postaya bakıp uzun bir açıklama yazmıyor. Sadece karar veriyor. Bu meşru mu, yoksa dolandırıcılık mı? Bir de yanına güven skoru bırakıyor. Testte 50 normal, 50 şüpheli e-posta var. Jev bu 100 e-postanın tamamını 1,42 saniyede sınıflandırmış. Maliyeti de kabaca birkaç mil seviyesinde. Asıl ilginç kısım ise burada başlıyor. Jev’in güveni %95’in altında kaldığında karar ikinci modele devrediliyor. Bu testte 31 e-posta Kimi K3’e gitmiş. Yani hızlı ve ucuz model önce tüm trafiği süzüyor, sadece emin olamadığı örnekleri daha büyük modele gönderiyor. İki model birlikte 100 e-postanın 96’sını doğru sınıflandırmış. Fikir aslında yeni değil. Küçük bir model çoğu işi yapıyor, zor vakalarda büyük model devreye giriyor. Ama Jev’in güven skoru bu akışı kurmayı kolaylaştırıyor. Model “eminim” diyorsa devam et, tereddüt ediyorsa ikinci modele sor. Bence bu yaklaşımın güzel tarafı da burada. Her işi tek bir büyük modele yığmak zorunda değilsiniz. Basit sınıflandırmayı hızlı modele bırakıp pahalı modeli sadece gerçekten gerektiğinde çağırabiliyorsunuz. Tabii bu test küçük. 100 örnek var ve veri seti 50/50 dengeli. Gerçek hayatta dolandırıcılık oranı bu kadar yüksek olmayabilir. Yanlış alarmın maliyeti de farklıdır. Ayrıca Jev kararın nedenini açıklamıyor; etiket ve skor veriyor. Üretimde eşik seçimi, gerçek veri dağılımı, izleme ve insan denetimi yine ayrı mesele. Yani buradan “Jev e-posta güvenliğini çözdü” sonucu çıkmaz. Net olan her sınıflandırma için en büyük modeli kullanmak artık gereksiz bir lüks olabilir. Dar işi hızlı modele, şüpheli vakayı ağır modele bırakmak hem maliyet hem gecikme tarafında gayet mantıklı bir mimari haline geliyor. Kaynaklar: https://x.com/nutlope/status/2100614659690713543 https://typesafe.ai/blog/introducing-system-one-models-and-jev https://docs.typesafe.ai/introduction https://www.together.ai/models/kimi-k3
这条是引用着另一条写的：「Jev + Kimi K3 做欺诈邮件检测，96% 准确率」