阿拉伯语 RAG 产品实测 Jev：21 个用例只 1 个真合适
开发者逐条对照自己阿拉伯语文档问答产品，结论是 15/21 用例需要 Agent Loop 架构、与他的 RAG 不匹配，唯一实用点是检索前的问题分类，月省约 7 美元但延迟零收益。
الجميع يتحدث عن Jev، فقررت أن أقضي مساءً أتحقق من مدى انطباقها على مشروعي. أنا أعمل على منتج للإجابة عن الأسئلة المتعلقة بالوثائق العربية باستخدام RAG، وهذه خلاصة ما وجدته 👇 15 حالة من أصل 21 تحتاج إلى بنية تعتمد على Agent Loop: اختيار الأدوات، وإدارة الحلقات، وإصلاح الأخطاء تلقائيًا، والتحكم في الصلاحيات، وتتبع العمليات وغيرها. منتجي لا يحتوي على أدوات أو وكلاء قادرين على تنفيذ إجراءات، وهذا قرار اتخذته عن قصد. تقديم إجابات موثقة بمصادر يمكن التحقق منها صعب بما يكفي، ولا أريد إضافة طبقة من التعقيد فوق ذلك. إذا كنت تبني منتج محادثة أو نظام RAG، وليس نظامًا يعتمد على الوكلاء، فمن المفيد أن تنتبه إلى أن معظم حالات الاستخدام المذكورة تفترض وجود بنية مختلفة عن بنيتك. الحالة التي يناسبها Jev عندي فعلًا هي تصنيف الأسئلة قبل بدء الاسترجاع. لدي بالفعل مصنف صغير يحدد ما إذا كانت الرسالة سؤالًا حقيقيًا عن الوثائق أو مجرد «مرحبا». باستخدام Jev، سأوفر حوالي 7 دولارات شهريًا عند 10 آلاف سؤال، لكن التوفير في زمن الاستجابة سيكون صفرًا، لأنني أشغّل المصنف بالتوازي مع إعادة صياغة السؤال أصلًا 😅 بصراحة، هذا ليس سببًا كافيًا لإضافة مزود جديد ثم هناك مشكلة التقييمات. لا توجد معايير منشورة أو توثيق واضح للغات المدعومة أو لحدود الاستخدام أو لاستضافة البيانات. معظم الأرقام المتداولة مصدرها TypeSafe نفسها. التقييم المستقل الوحيد الذي وجدته أشار إلى مشكلة مقلقة: اختلاف صياغة السؤال نفسه أدى إلى اختلاف النتائج، بنسبة تطابق بلغت 63% 🤦♂️ بالنسبة لمنتج يعتمد على العربية، غياب أي تقييمات أو توثيق متعلق باللغة يمثل مشكلة حقيقية. سبق أن واجهت فجوة مشابهة؛ نموذج قيل إن زمن استجابته 240 ميلي ثانية استغرق 38 ثانية تقريبًا على أجهزتي. لكن هناك فكرة واحدة أعجبتني فعلا: says_nothing. الفكرة هي التمييز بين «الوثائق تتحدث عن الموضوع» و«الوثائق تذكر المعلومة المطلوبة». وهذا فرق مهم جدًا في أنظمة RAG. سبق أن حصل سؤال غير قابل للإجابة على درجة استرجاع أعلى من 25 سؤالًا قابلًا للإجابة، فقط لأن الوثائق كانت تناقش الموضوع دون ذكر المعلومة المطلوبة. says_nothing تبدو حلًا واعدًا لهذه المشكلة، لكنني لا أملك بيانات كافية لتقييمها حتى الآن. الخلاصة؟ Jev فكرة جيدة، وله استخدامات حقيقية، لكن ليس الوقت المناسب لإضافته إلى مشروعي هل أحد جرب Jev؟ فضولي أعرف كيف كانت تجربتكم ؟
这条是引用着另一条写的：「Jev 决策模型在 Agent 中的分工用法」