Laya-MLX：把 Jev 式决策模型跑进 Mac 本地
开源决策模型 Laya 被移植到 Apple MLX，M3 Max 上单次决策约 7–13 毫秒、占用不到 1GB，可本地做路由、打分和 guardrail。
Jev daha yeni konuşulmaya başlanmışken, biri benzer “decision model” fikrini Mac’in içine indirip milisaniyelere çekmiş. Projenin adı Laya-MLX. Laya aslında Jev’e benzer şekilde uzun uzun metin üretmek yerine hızlı karar vermeye odaklanan açık kaynak bir model. Geliştirici bunu Apple’ın MLX altyapısına port etmiş ve özellikle Apple Silicon için optimize etmiş. İddia edilen sonuçlar baya dikkat çekici: M3 Max üzerinde yaklaşık 7–13 ms karar süresi 1 GB’ın altında bellek kullanımı Yüzlerce karar/saniye throughput Snake demosunda saniyede onlarca karar Yani model size paragraf yazmıyor. “Hangisini seçeyim?” “Bu doğru mu?” “Hangi tool çalışmalı?” “Hangi agent’a gitsin?” gibi sorulara olasılıklı karar dönüyor. Ve en önemli tarafı: Tamamen local çalışıyor. Cloud API yok. Her karar için dışarı çıkmıyor. Agent orchestration, routing, guardrail ve scoring gibi işlerde cihazın içindeki çok hızlı bir karar katmanı olabiliyor. Jev ile başlayan “decision model” fikri cloud’da kalmayacak gibi duruyor. Model üretimi güçlü GPT/Opus tarafında, hızlı kararlar ise cihazın içinde olabilir.