Cloudflare releases Clef, an open-source decision model compatible with the Jev API
Clef (27B) and Clef-flash (9B) are open-source decision models compatible with the Jev API that return typed probabilities and options instead of free text, and the author suggests testing routing on existing Jev workflows.
Cloudflare sort Clef et Clef-flash, deux modèles de décision open source dans la lignée de Jev. L’idée : éviter de mobiliser un modèle généraliste quand il suffit de choisir parmi quelques options. Vous leur donnez un contexte, sous forme de texte, de JSON ou d’images, et les questions à trancher. Ils évaluent les options proposées en parallèle, sans générer de texte libre token par token. Les réponses sont typées : une probabilité pour une question oui/non, un choix parmi plusieurs options (avec une probabilité par option), ou un score sur une échelle ordonnée. Votre code peut ensuite utiliser ces résultats pour décider de la suite. Prenons une demande de support : est-elle urgente ? Quelle équipe doit la traiter ? Faut-il passer la main à un humain ? Plusieurs décisions à prendre avant même de rédiger une réponse. Deux modèles sur Workers AI : • Clef, 27B : 0,24 $ par million de tokens d’entrée. • Clef-flash, 9B : 0,09 $ par million de tokens d’entrée. Cloudflare rapporte une latence médiane de 209 ms pour Clef et de 39 ms pour Clef-flash dans ses évaluations. Ce sont leurs mesures, à vérifier sur un workflow complet. Les deux sont compatibles avec l’API de Jev, le modèle de décision de Typesafe AI. Ils prennent en charge la vision et disposent de 64k tokens de contexte. Les poids sont disponibles sous Apache 2.0. Dans les évaluations publiées par Cloudflare, les résultats varient selon la tâche : aucun modèle ne gagne partout. Je ne les ai pas encore testés. Pour un premier essai, je regarderais le routage de demandes : est-ce que la bonne destination est choisie, y compris quand la demande ne rentre dans aucune catégorie ? Et combien de temps prend le workflow complet ? À tester sur un workflow qui utilise déjà Jev, pour voir ce que ça change en pratique. Si vous avez comparé les deux, je suis preneur de vos retours ? https://x.com/Cloudflare/status/2105747536510099540?s=20
This post quotes another post: x.com/cloudflare/status/2105747536510099540