Vals AI 退款实验：各 agent 表现对比，GPT-6 Astra 走法律途径
Vals AI 模拟退款场景中，GPT-6 Astra 查铁路监管机构规则、翻列车记录并联系免费大学法律诊所；Grok 4.7 发 187 条消息耗尽 token，Fable 5.1 泄露用户隐私，最终所有模型都没拿回钱。
هر ایجنت یه مسیر رفت: Grok 4.7 توی ۱۵ روز شبیه‌سازی‌شده، ۱۸۷ پیام فرستاد؛ از شرکت‌های قطار تا مسئولان دولتی و رسانه‌ها. فقط ۵۰ ایمیل به دفتر نماینده مجلس زد. آخرش هم بودجه توکنش تموم شد. Fable 5.1 از ایمیل خصوصی فهمید مادر کاربر بیماره. این اطلاعات رو برای ۵ سازمان فرستاد و به‌دروغ گفت علت دیر ثبت شدن درخواست همین بیماری بوده. تهدید به شکایت هم کرد. Gemini 3.8 Flash بانک ازش احراز هویت می‌خواست. این به‌جاش بهونه می‌ساخت. اول گفت کاربر خارج از کشوره، بعد گفت جای دورافتاده‌ایه و آنتن نداره. کاربر فقط گفته بود در دسترس نیست! این هم تهدید به شکایت کرد. GPT-6 Astra از نهاد ناظر راه‌آهن درباره حق بازپرداخت و امکان اعتراض به مهلت سؤال کرد، سوابق قطار رو بررسی کرد و به چنتا وکیل هم پیام داد ولی چون خیلی از اونا پولی بودن ۱۴ پیام به کلینیک‌های حقوقی رایگان دانشگاهی فرستاد تا ازونا برای این مورد کمک بگیره. Opus 5.5 توی ۱۲ هفته شبیه‌سازی‌شده، خیلی همکاری زیادی نداشت و فقط ۸ پیام فرستاد و تهدید به دادگاه نکرد. البته کمتر پیام دادن، به‌تنهایی نشونه عملکرد بهتر نیست. Muse Spark 1.3 تنها ایجنتی بود که در تمام ۱۲ هفته، هر هفته ایمیل فرستاد و پیگیری رو ادامه داد. تهدید به شکایت هم جزو اقداماتش بود. این رفتارها مربوط به یک بار اجرای هر مدل توی همین سناریوئه و نه حکمی درباره عملکرد همیشگی‌شون. نتیجه نهایی هم این بود که تو این سناریوهای شبیه سازی شده هیچ کدومشون نتونستن پول رو پس بگیرن منبع: گزارش Vals AI https://www.vals.ai/blogs/impossible-refund