What Jev is: TypeSafe's model built for small decisions
Jev, launched by TypeSafe, is positioned for small decisions like classification, routing and confidence checks, priced at $0.042 per million input tokens with free output.
דיוגו אלמיידה, שעבד על המחקר שמאחורי ChatGPT, השיק השבוע מודל בינה מלאכותית שלא יכתוב לכם אפילו פוסט לפייסבוק. קוראים לו Jev. הוא יצא ב15 בספטמבר דרך החברה שלו, TypeSafe. יום אחר כך כבר נכנס לשירות המודלים של Vercel. וההבטחה שלו נוגעת דווקא לכל ההחלטות הקטנות שבין המשימות הגדולות. גם לי נמאס שכל שנייה יש כלי חדש. אני כותב על הדברים האלה, וכבר מעייף להסביר למה הדבר של יום שלישי מצריך התלהבות חדשה ביום רביעי. עוד שם לזכור, עוד חשבון לפתוח, עוד סרטון של מישהו ש״שינה את החיים שלו״ לפני ארוחת הצהריים. אז הפעם שווה להבין איזו עבודה הכלי עושה. נניח שנכנסת פנייה לעסק. צריך לקבוע אם היא קשורה למכירות, לתמיכה או להנהלת חשבונות. לזהות אם היא דחופה, ואם חסר בה מידע לפני שמעבירים אותה הלאה. מודל כמו אסטרה יודע לעשות את זה. הוא גם יודע לבנות תוכנה ולעבוד בתוך תוכנות אחרות. לשלוח אליו כל החלטת מיון קטנה זה כמו להזמין את אייל שני כדי שיחליט לאיזו מגירה להכניס כפית. Jev מקבל את הפנייה ואת האפשרויות שהגדרנו, ומחזיר בחירה והערכת ביטחון. אפשר לבקש ממנו לבחור את הכלי הבא שסוכן יפעיל, לדרג דחיפות או לבדוק אם תשובה עומדת בכללים. התוכנה שמסביב מחליטה מה לבצע ומתי להעביר לבדיקה אנושית. סיווג וניתוב קיימים מזמן. גם מודלים רגילים יודעים להחזיר תשובות בפורמט מוגדר. ההצעה כאן היא מודל שמיועד מלכתחילה להחלטות כאלה, ומחשב כמה תשובות במקביל. אין צורך לייצר הסבר ארוך כשכל מה שהתוכנה צריכה הוא בחירה מתוך רשימה. המחיר שלו מסביר חלק מההתלהבות. המחיר המוצהר הוא 0.042 דולר למיליון טוקנים של קלט. טוקנים הם יחידות טקסט שהמודל קורא. על הפלט אין חיוב. דוגמה חשבונית: 10,000 פניות, עם 1,000 טוקנים בכל בקשה כולל ההוראות והאפשרויות, הן 10 מיליון טוקנים. עלות ההפעלה של Jev בדוגמה: 42 סנט. זה מחיר החישוב בלבד. הבנייה, התחזוקה, הטיפול בטעויות והמודלים הנוספים עולים בנפרד. עסקים לא עובדים על טוקנים בלבד, גם אם המצגות של חברות AI קצת שכחו את זה. אפילו השם Jev נלקח מהכלכלן ויליאם סטנלי ג׳בונס. TypeSafe מהמרת שככל שהחלטה תעלה פחות, נרצה להפעיל בינה מלאכותית בעוד מקומות. בעסק, למשל, יהיה משתלם לבדוק גם פניות שעד היום העברנו הלאה בלי בדיקה. זו ההבטחה הכלכלית שצריך לבחון. לפי TypeSafe, זמן התגובה הוא 70 עד 500 אלפיות השנייה. אלה הנתונים שלהם. עוד לא מדדתי בעצמי. אבל החיסכון שמעניין אותי הוא בכמות הפעמים שנצטרך להפעיל את המודל היקר. אני מתכנן להתנסות עם Jev בתקופה הקרובה, יחד עם היכולות החדשות של אסטרה, שנותן בראש ועליו כבר כתבתי כאן. אסטרה לבנייה, להבנת בעיות מורכבות ולעבודה במחשב. Jev למיון ולהחלטות מוגדרות בתוך התהליך. למשל, לבדוק אם אפשר לטפל בפנייה במסלול קבוע או שהיא דורשת חשיבה עמוקה. הייתי מתחיל על פניות שכבר טופלו, משווה להחלטות האמיתיות ובודק כמה טעויות נוספו לצד החיסכון. תוצאה זולה שצריך לתקן ידנית יכולה לעלות יותר. גם הסיסמה שלהם על ״אפס הזיות״ צריכה הסבר. כשבוחרים מתוך רשימה מוגדרת, אי אפשר להמציא אפשרות שלא נמצאת בה. עדיין אפשר לבחור באפשרות הלא נכונה. הערכת ביטחון עוזרת לקבוע מתי לעצור; היא לא תעודת אחריות. מבחינתי זה ההבדל שמצדיק בדיקה הפעם: אפשר לשלב אותו בעבודה שכבר בנינו ולבדוק אם היא נעשית משתלמת יותר, בלי להתחיל הכול מחדש סביב הכלי התורן. אלמיידה בנה מודל שלא יכתוב את הפוסט הזה. אני רוצה לבדוק כמה מהעבודה שלי אפשר לסיים בלי לבקש ממודל לכתוב בכלל. אשתף את ההתנסות עם Jev ואסטרה בשבוע הקרוב מיד אחרי כיפור.
This post quotes another post: “ChatGPT co-inventor releases Jev, a model built for decisions rather than text”