Polish developer tests Jev and Basal decision models
A video walkthrough compares Jev with the open-weight Basal decision model: 12.5ms per decision on H100, Jev scoring 58 on the Decision Index at 0.13s and $42 per million tasks, but losing to DeBERTa on prompt-injection detection.
Dwa tygodnie temu przyszedł do mnie Kuba i powiedział: „Chodź, przetestujemy Basala” – fajny polski projekt @KinasRemek – obserwuję jego GitHuba. „A co to jest?” – zapytałem. „Model decyzyjny” – wyjaśnił Kuba. No i zróbmy krok w tył. 15 września TypeSafe AI opublikowało Jeva – model, który zamiast ciągłego tekstu zwraca wybór z listy opcji. Model przyjmuje dane wejściowe, takie jak: „Przelew nie dotarł od trzech dni. Termin płatności upływa jutro” i wybiera z listy (podając jednocześnie prawdopodobieństwo każdej opcji) odpowiedni dział w banku (np. płatności, karty, kredyty), który powinien zająć się tą korespondencją, a także określa, czy sprawa jest pilna, czy nie. Po Jevie zaczęły pojawiać się inne modele podobnego typu. Remigiusz Kinas stworzył model Basal, który ma otwarte wagi, udostępnione na Hugging Face, a silnik do jego uruchamiania jest na GitHubie. Testował go http://m.in. na karcie H100, gdzie podjęcie jednej decyzji zajmuje 12,5 ms. Firma Artificial Analysis przetestowała modele decyzyjne i porównała je do LLM-ów w ramach indeksu Artificial Analysis Decision Index pod kątem wiedzy, wnioskowania, wyboru narzędzia oraz klasyfikacji bezpieczeństwa. Jev uzyskał wynik 58, podczas gdy model Claude Haiku 5.5 uzyskał 61. Mediana czasu wykonania pojedynczego zadania wyniosła 0,13 s dla Jeva w porównaniu z 1,4 s dla Haiku. Koszt przetworzenia 1 mln zadań wyniósł 42 USD – ponad 4 razy taniej niż w Haiku (184 USD). Są też skuchy. Red Hat sprawdził wykrywanie prompt injection. Mały klasyfikator DeBERTa osiągnął lepsze wyniki niż Jev – 89,01% do 86,35%. Kolejny test (preprint z 12 października) – wykorzystanie Jeva do podejmowania decyzji dotyczących kolejnych działań agenta, który w symulacji obsługiwał klientów sklepu i linii lotniczej. Odsetek pomyślnie zakończonych przypadków spadł z 77,6% (agent bez Jeva) do 66,1% (agent z Jevem). Mediana czasu trwania przypadku spadła z 267 s do 161 s. Czego model decyzyjny nie potrafi? Całkiem sporo: obliczania kwot i porównywania dat. Pewność modelu to nie trafność. Liczba 0,95 to deklaracja modelu. Sprawdza się ją na wiadomościach, które ludzie już wcześniej przypisali do zespołów. Gwarantowany jest tylko wybór z listy. Model nie zwróci odpowiedzi spoza niej, a może wskazać zły. Odpowiedź zawsze będzie w poprawnym formacie JSON, ale może być błędna. Według autora Basala przy progu dobranym tak, żeby błędów było najwyżej 1 proc., jego model (Basal-1.0) sam rozstrzyga 58,6 proc. decyzji ze zbioru testowego. Jev 1.13 w tej samej procedurze rozstrzyga 18,1 proc. Resztę dostaje człowiek. Za to w innym teście Kinasa, z 5000 pytań po polsku i angielsku, Jev 1.14 trafił w 82,16 proc. decyzji, a nowszy Basal-2.0 w 72,86 proc. No i testujemy Basala przy klasyfikacji korespondencji. Jak będziemy mieli wyniki, to je podam. Co tydzień (no prawie zawsze) piszę o AI: http://newsletter.sokolinski.com