Jev and LLMs: routing, scoring and authorization as typed decisions
The author argues that calls picking one option from a few should move from LLMs to Jev, which takes a state and returns typed decisions, and warns to validate confidence scores before wiring them to an if.
Et si ton IA arrêtait de parler pour juste décider ? Router un tool, autoriser un call, choisir quel LLM appeler, scorer un churn. On demande une décision, mais on paie une génération de texte, du JSON à parser et la latence qui va avec. Jev (TypeSafe) propose une autre interface : un état en entrée, des décisions typées en sortie, évaluées en parallèle. TypeSafe annonce des réponses en quelques centaines de millisecondes, avec des tokens de sortie non facturés au tarif annoncé. Le pattern d'architecture est intéressant : LLM → écrire, planifier, coder. Jev → router, scorer, autoriser, classer. Une partie de nos appels LLM sert déjà à choisir parmi quelques options. Est-ce qu'on a besoin de générer du texte pour ça ? Attention à la promesse "can't hallucinate" : Jev ne peut pas sortir des options prévues, mais il peut choisir la mauvaise. Avant de lui confier des actions, reste à vérifier sur tes propres données si ses scores de confiance correspondent à ses résultats. C'est là que tu sauras si tu peux brancher ce score sur un if. https://x.com/CompleteSkeptic/status/2099925682726002904?s=20
This post quotes another post: “ChatGPT co-inventor releases Jev, a model built for decisions rather than text”