Laya-MLX brings Jev-style decision models to the Mac locally
The open-source decision model Laya has been ported to Apple's MLX, running about 7-13ms per decision on an M3 Max with under 1GB of memory for local routing, scoring and guardrails.
Jev daha yeni konuşulmaya başlanmışken, biri benzer “decision model” fikrini Mac’in içine indirip milisaniyelere çekmiş. Projenin adı Laya-MLX. Laya aslında Jev’e benzer şekilde uzun uzun metin üretmek yerine hızlı karar vermeye odaklanan açık kaynak bir model. Geliştirici bunu Apple’ın MLX altyapısına port etmiş ve özellikle Apple Silicon için optimize etmiş. İddia edilen sonuçlar baya dikkat çekici: M3 Max üzerinde yaklaşık 7–13 ms karar süresi 1 GB’ın altında bellek kullanımı Yüzlerce karar/saniye throughput Snake demosunda saniyede onlarca karar Yani model size paragraf yazmıyor. “Hangisini seçeyim?” “Bu doğru mu?” “Hangi tool çalışmalı?” “Hangi agent’a gitsin?” gibi sorulara olasılıklı karar dönüyor. Ve en önemli tarafı: Tamamen local çalışıyor. Cloud API yok. Her karar için dışarı çıkmıyor. Agent orchestration, routing, guardrail ve scoring gibi işlerde cihazın içindeki çok hızlı bir karar katmanı olabiliyor. Jev ile başlayan “decision model” fikri cloud’da kalmayacak gibi duruyor. Model üretimi güçlü GPT/Opus tarafında, hızlı kararlar ise cihazın içinde olabilir.