Matthew Berman 用 Jev 40 秒分类 724 条广告
Gemini 先抽图文 embedding，再交给 Jev 并行跑 Choice/Score 等 schema，40 秒处理 37 个品牌的 724 条广告、8700 次分类，token 成本仅 0.09 美元，中位延迟 216ms。
CÓ MỘT DEMO ĐANG LAN TRUYỀN TRÊN X VỀ JEV. Matthew Berman thử nghiệm và Jev xử lý 724 quảng cáo trực tiếp từ 37 thương hiệu chỉ trong 40 giây. Tổng cộng hơn 8.700 phân loại riêng lẻ mà chi phí token chỉ 0.09 đô. Nhiều người thắc mắc vì Jev vốn là mô hình phân loại văn bản có cấu trúc, không nhận trực tiếp tensor hình ảnh. Berman giải thích trong phần trả lời rằng pipeline phía trước dùng Gemini kèm embeddings để trích xuất token hình ảnh và văn bản thô. Sau đó dữ liệu này được đưa vào API của Jev để đánh giá song song các mục tiêu schema đã định sẵn như Choice, Score, Noul. Khác với cách sinh tự hồi quy truyền thống vốn dự đoán từng token một, Jev lấy mẫu toàn bộ quyết định schema trong một lượt lan truyền duy nhất. Nhờ vậy nó loại bỏ độ trễ tuần tự và đạt trung vị chỉ 216ms mỗi bản ghi. Điểm hay là không cần huấn luyện riêng đầu phân loại kiểu BERT hay DeBERTa, nó chạy được ngay với mọi định nghĩa schema tùy ý. Nhưng cần nhớ nó hoạt động trong cửa sổ ngữ cảnh 32k và không có bộ nhớ lâu dài. Nghĩa là đừng trông vào nó cho suy luận nhiều bước phức tạp hay các tác vụ cần ngữ cảnh tổ chức sâu. Nó giống một bộ định tuyến có điều kiện thông minh hơn là một agent tự trị. Vẫn là một primitive rất gọn để giảm code keo và đẩy bớt việc phân loại cơ bản ra khỏi các mô hình biên. Miễn là bạn giữ nó trong đúng ranh giới thiết kế thật sự.