俄语开发者把垃圾过滤 bot 迁到 Jev
他介绍 Jev 是无聊天、JSON 进出的分类/打分模型，并实测把反垃圾 bot 从 LLM 迁到 Jev，对比噪声输入的容忍度。
Завезли детерминированный ИИ для использования в программах 🤙 Модель Jev от http://typesafe.ai не позволяет чатиться с моделью. По сути это классификатор/система скоринга, которой можно задавать вопросы и получать ответ. Вопросы и ответы упакованы в JSON. И для получения ответа модели надо передать хоть какие-то признаки. Они сами пишут, что глубокого размышления модель не делает, зато работает УЛЬТРА БЫСТРО и буквально ничего не стоит (пока). Нам предлагают платить доли цента за входные токены, выходные - бесплатно. Это скорее всего потому что формат вывода ограничен и предсказуем. По факту заложен в цену запроса. Но стоит это настолько дёшево, что люди делают публичные сервисы бесплатными. Я пока пробую перевести спам бота на Jev и любопытно насколько ллм прощает шумный вход. Ллм классификатору я просто навалил несколько примеров, а Jev потребовал более структурного подхода. Пока работает в параллель. Вот такие новости