Hebrew thread explains how Jev speeds up and cuts costs for AI agents
Using customer support triage as an example, the thread says Jev makes decisions before calling an LLM, claiming roughly 200x speed and 444% cost savings, and notes closed-source and compliance risks.
הייפ חדש: מודל חדש בשם JEV, של חברת Typesafe AI תופס תאוצה מטורפת. הוא עוזר עם שיפור הביצועים של סוכני AI ע"י האצת מהירות והפחתת עלויות באופן משמעותי - אבל מה הסיפור שלו? והאם בטוח להשתמש בו? כדי להבין מה הוא עושה, תחשבו על הדוגמא הבאה: אתם חברת KSP, אתם מקבלים המון פניות בוואצאפ. אתם צריכים לדעת לאיזו מחלקה להעביר את הפנייה, ובאיזה מודל AI להשתמש כדי להשיב לפונים (אם אתם צ'אטבוט AI) - האם מודל יקר כי צריך לבדוק את פרטי הלקוח? האם זול ומהיר? כדי לעשות את זה, מבלי שהמערכת תישבר, צריך להגדיר במדויק את הפניות למודל השפה וגם את התשובות, לנתח את התוצאות ולתת לסוכן לעבוד על זה בלולאה. זה עסק לא זול כשיש הרבה קריאות. ומה אם היה אפשר להוזיל את זה? או לשפר את זה? כמה לשפר? בערך פי 200 מהר יותר, ולהוזיל בערך ב-444 אחוזים. נשמע טוב נכון? זה מה ש-JEV של Typesafe עושה. הוא יושב *לפני* הפנייה למודל השפה, מסתכל על השאלה ומחליט בהתאם להגדרות מה צריך לעשות. לדוגמא, אם קיבלנו שאלה שהתוצאה שלה אמורה להיות פתיחת קריאה אוטומטית לשירות לקוחות, אז JEV יודע לקחת את הבקשה ולהעביר אותה לתהליך האוטומציה הזה מבלי לערב מודל שפה נוסף. וכך הלאה. הוא יושב, רואה מה רוצים - ולפי הלוגיקה שיש לנו בקוד יודע איך לייעל את העבודה. אפשר להגדיר לו מה מבחינתנו נחשב מודל חזק, ומה מהיר, למשל קלוד הייקו או OpenAI לונה וכדומה, ואז במקרה שצריך לפנות ל-AI הוא ינתב למודל הטוב ביותר. נשמע טוב. נראה טוב. אבל צריך לשים לב: - לא מדובר במודל שהוא קוד מקור פתוח, מדובר במוצר מסחרי - ככזה, המשמעות היא שעבוד לשירות שלהם. אם שילבתם אותם בקוד שלכם - יהיה לכם קשה לעזוב אותם בעתיד, והשאלה היא האם רוצים להיכנס לזה מלכתחילה? - הוספת שכבה של שירות שמעבד את המידע שלכם, משמעותו העברת המידע שלכם לספקים נוספים. בדקתי האם הם עומדים בתקינה כלשהי ונראה שהם עומדים בתקינה מחמירה מסוג SOC 2 TYPE II שזה מרשים, ויש להם מדיניות עיבוד מידע, ביקשתי גישה למסמך עצמו ואחכה לראות אם אקבל, אבל בינתיים אפשר לראות באתר שלהם מי יעבד את המידע שתעבירו ל-JEV: אמזון AWS, סלאק, גוגל, ומודל (שלא הכרתי). כתוב שהם לא יבצעו שימוש במידע, אך מצד שני לא ראיתי התייחסות למשך הזמן שבו המידע נשמר, האם נמחק, ועוד דברים שהייתי בודק בעבר בתפקידי כאיש אבטחת מידע. האם להשתמש או לא? זו שאלה קשה. יש הבדל בין לשחק איתו לכיף לבין להטמיע אותו במוצר. אני אישית לא הייתי ממהר להטמיע אותם במוצרים שלי אלא אם יש להם מודל נגיש דרך AWS Bedrock למשל, כי על אמזון אני יכול לסמוך יותר מאשר על חברה צעירה עם מודל שנשמע מדליק. וגם - אני הייתי מעדיף לבנות את הפתרונות שלי בצורה שבכל רגע אני יכול להחליף מודלים ולעבור בין מודלים, אפילו למודלים לוקאלים דרך vLLM תוך שמירה על הסכמה של OpenAI, מאשר להטמיע כל מיני דברים בקוד. אם ניסיתם אשמח לקרוא תובנות, תזכרו שאם יש לכם מקרים שאסור שהקוד יצא מהרשת בכלל - JEV לא מתאים בשלב הזה כי צריך פתרון מקומי. @typesafeai