Russian developer moves spam-filter bot to Jev
He describes Jev as a chat-free classifier and scoring model with JSON input and output, and is testing a move of his anti-spam bot from an LLM to Jev to compare tolerance for noisy input.
Завезли детерминированный ИИ для использования в программах 🤙 Модель Jev от http://typesafe.ai не позволяет чатиться с моделью. По сути это классификатор/система скоринга, которой можно задавать вопросы и получать ответ. Вопросы и ответы упакованы в JSON. И для получения ответа модели надо передать хоть какие-то признаки. Они сами пишут, что глубокого размышления модель не делает, зато работает УЛЬТРА БЫСТРО и буквально ничего не стоит (пока). Нам предлагают платить доли цента за входные токены, выходные - бесплатно. Это скорее всего потому что формат вывода ограничен и предсказуем. По факту заложен в цену запроса. Но стоит это настолько дёшево, что люди делают публичные сервисы бесплатными. Я пока пробую перевести спам бота на Jev и любопытно насколько ллм прощает шумный вход. Ллм классификатору я просто навалил несколько примеров, а Jev потребовал более структурного подхода. Пока работает в параллель. Вот такие новости