Matthew Berman classifies 724 ads with Jev in 40 seconds
Gemini first extracts image and text embeddings, then Jev runs Choice, Score and other schemas in parallel, handling 724 ads from 37 brands and 8,700 classifications in 40 seconds at $0.09 in token cost with a 216ms median latency.
CÓ MỘT DEMO ĐANG LAN TRUYỀN TRÊN X VỀ JEV. Matthew Berman thử nghiệm và Jev xử lý 724 quảng cáo trực tiếp từ 37 thương hiệu chỉ trong 40 giây. Tổng cộng hơn 8.700 phân loại riêng lẻ mà chi phí token chỉ 0.09 đô. Nhiều người thắc mắc vì Jev vốn là mô hình phân loại văn bản có cấu trúc, không nhận trực tiếp tensor hình ảnh. Berman giải thích trong phần trả lời rằng pipeline phía trước dùng Gemini kèm embeddings để trích xuất token hình ảnh và văn bản thô. Sau đó dữ liệu này được đưa vào API của Jev để đánh giá song song các mục tiêu schema đã định sẵn như Choice, Score, Noul. Khác với cách sinh tự hồi quy truyền thống vốn dự đoán từng token một, Jev lấy mẫu toàn bộ quyết định schema trong một lượt lan truyền duy nhất. Nhờ vậy nó loại bỏ độ trễ tuần tự và đạt trung vị chỉ 216ms mỗi bản ghi. Điểm hay là không cần huấn luyện riêng đầu phân loại kiểu BERT hay DeBERTa, nó chạy được ngay với mọi định nghĩa schema tùy ý. Nhưng cần nhớ nó hoạt động trong cửa sổ ngữ cảnh 32k và không có bộ nhớ lâu dài. Nghĩa là đừng trông vào nó cho suy luận nhiều bước phức tạp hay các tác vụ cần ngữ cảnh tổ chức sâu. Nó giống một bộ định tuyến có điều kiện thông minh hơn là một agent tự trị. Vẫn là một primitive rất gọn để giảm code keo và đẩy bớt việc phân loại cơ bản ra khỏi các mô hình biên. Miễn là bạn giữ nó trong đúng ranh giới thiết kế thật sự.