Perplexity AI تطلق WANDR: معيار مفتوح لتقييم وكلاء الأبحاث الذين يجب عليهم البحث على نطاق واسع وعميق

يتعامل وكلاء الأبحاث بالفعل مع العمل المعرفي الحقيقي اليوم. تقوم الفرق بتفويض رسم الخرائط التنافسية والعناية الواجبة ومراجعة الأدبيات لهم. ومع ذلك، فإن معظم المعايير تختبر إجابة واحدة، وليس مجموعات كبيرة مدعومة بالأدلة. تستهدف الحيرة تلك الفجوة بمعيار مفتوح جديد.

الحيرة صدر واندر (بحث واسع وعميق). إنه معيار مفتوح وأداة تقييم. تم تصميمه حول 500 مهمة واقعية ومليئة بالتحديات لجمع البيانات للعمل المعرفي. WANDR هو الأخ الأكبر لمعيار DRACO الخاص بـ Perplexity للبحث العميق. يسأل DRACO ما إذا كان الوكيل يقدم تقريرًا طويلًا دقيقًا وكاملًا وموضوعيًا. وبدلاً من ذلك، تتساءل WANDR عما إذا كان يمكنها بناء مجموعة كبيرة بالأدلة.

ما هو واندر

في جوهره، يختبر WANDR مطلبين معًا. واسع يعني اكتشاف مجموعة كبيرة ومفتوحة في كثير من الأحيان من الكيانات المؤهلة. عميق يعني التحقيق في كل جهة بما يكفي لدعم كل ادعاء بالأدلة. يؤدي الجمع بين الاثنين إلى تغيير المشكلة بالنسبة للوكلاء. بعض الأمثلة المقنعة ليست كافية هنا. إن السرد المصقول المبني على بحث غير مكتمل هو أيضًا قاصر.

لالتقاط هذا، يستخدم WANDR أداة قابلة للتركيب التسلسل الهرمي لمفتاح المؤهلات. قد تطلب مهمة واحدة company(n) -> employee(m) -> url(k). وهذا يعني عدد n من الشركات المؤهلة، وعدد m من الموظفين لكل منها، وk من الصفحات الداعمة لكل منها. يتم التحقق من صحة كل مسار كامل عبر الشجرة بشكل مستقل. يمكن أن تمثل البنية نفسها قائمة مسطحة أو بحثًا متداخلاً أو مصفوفة.

مثال على مهمة ملموسة

ولتثبيت هذا التسلسل الهرمي، فكر في المفرج عنهم ceo_cfo_appointments مهمة. ويطلب ما لا يقل عن 70 شركة مقرها الولايات المتحدة. يجب أن يكون لدى كل منهم تعيين مدير تنفيذي أو مدير مالي تم الإعلان عنه لأول مرة في الفترة ما بين 1 مارس و30 أبريل 2026. ولكل منهما، يقدم الوكيل صفحة تعيين موثوقة واحدة. تضيف مهمة فرعية صفحة سلطة الإدراج لكل شركة. تتطلب المهمة معًا 140 سجلًا مدعومًا بالمصدر.

بشكل ملموس، يبدو التسلسلان الهرميان والسجل المقدم كما يلي:

# Task hierarchies
company(70) -> company_appointee(1) -> url(1)   # 70 appointment records
company(70) -> url(1)                           # 70 listing records

# One record the grader re-fetches and re-checks (values are illustrative)
{
  "item":     "Example Corp - new CFO",
  "url":      "https://issuer.example.com/press/cfo-appointment",
  "excerpts": ["Example Corp today named Jane Doe as Chief Financial Officer, effective April 2026."],
  "answer":   "Jane Doe appointed CFO; announced April 2026"
}

مهام واقعية، تم إنشاؤها على نطاق واسع

وبعيدًا عن الأمثلة الفردية، يبني WANDR مهامه من الاستخدام الحقيقي. يبدأ الأمر من الأنماط غير المحددة التي تظهر في الإنتاج، وليس من المطالبات الاصطناعية. ثم يقوم خط أنابيب شبه آلي بتحويل هذه الأنماط إلى مهام. يمر خط الأنابيب بأربع مراحل: البذر، والتأليف، والقبول، والتنظيم. يستخدم حلقة مؤلف-ناقد مشذرة مع فحص ميكانيكي.

ونتيجة لذلك، تطلب المهمة المتوسطة 50 عضوًا و245 سجلًا بشكل عام. عبر جميع المهام الـ 500، تستدعي WANDR 170,495 سجلًا مدعومًا بالمصدر. تم تقسيم المهام إلى 167 مهمة أقل، و166 متوسطة، و167 صعوبة أعلى. تعتمد الصعوبة على العمل لكل سجل، وليس على النطاق وحده.

كيف يقوم WANDR بتصنيف الوكلاء

على عكس مفاتيح الإجابات الثابتة، تقوم WANDR بتصنيف كل مطالبة وفقًا للأدلة المذكورة. يحتوي كل سجل على عنصر وعنوان URL ومقتطفات مختارة وإجابة. يقوم مصنف التقديرات بإعادة جلب الصفحة أثناء التقييم. فهو يتحقق مما إذا كانت الصفحة قابلة للاستخدام وفي نطاقها. ثم يتحقق من ظهور المقتطفات حقًا ودعم كل المتطلبات.

يتم بعد ذلك عرض أحكام السجل الثنائي هذه عبر التسلسل الهرمي. دقة يقيس جودة ما يقدمه النظام. يتذكر يقيس الإنجاز المعدل حسب الجودة، وملء أي نقص بالأصفار. ناعم تمنح الدرجات رصيدًا جزئيًا للأعضاء غير المكتملين. صعب يتم احتساب النتائج فقط الأعضاء الذين تكون شجرتهم الفرعية الكاملة صحيحة.

النتائج المعيارية

وباستخدام هذه الطريقة، قامت شركة Perplexity بتشغيل ستة أنظمة إنتاج لجميع المهام الخمسمائة. يؤدي نظام البحث كرمز (SaC) الخاص به. ومع ذلك، لا يوجد نظام يقترب من حل المعيار.

مع المزيد من الجهد، تصل الحيرة إلى 0.447 soft F1 عند xhigh جلسة. تمتد التكلفة عبر الإعدادات إلى أكثر من أربعة أوامر من حيث الحجم. يتراوح من 0.03 دولارًا أمريكيًا لكل مهمة إلى 324.83 دولارًا أمريكيًا لكل مهمة.

وبعيدًا عن لوحة الصدارة، تبرز أربع نتائج. أولا، يعتبر التقدم الجزئي أمرا شائعا، ولكن التغطية الكاملة ليست كذلك. يُظهر كل نظام استدعاءً ناعمًا أقل من الدقة الناعمة. ثانياً، يؤدي الحجم إلى تفاقم المشكلة بشكل حاد. التسلسلات الهرمية الأعمق هي الأكثر ضررًا، حيث أن كل فرع يضيف نقطة فشل. ثالثا، الاكتشاف هو أول عنق الزجاجة الهيكلي. يتراوح إكمال الاكتشاف على المستوى الأعلى من 0.611 إلى 0.951 عبر الأنظمة. يفسر نقص التسليم، وليس الدمج المكرر، معظم الحجم المفقود. رابعًا، عادةً ما يكون العثور على صفحة قابلة للاستخدام أمرًا سهلاً. إن تحويلها إلى دليل كامل هو الجزء الصعب. بالنسبة للحيرة، فإن 41.4% من الصفحات تفتقد متطلبًا موضوعيًا. كما أن 57.5% من المقتطفات لا تدعم المطالبة الكاملة. ينخفض ​​سعر F1 الناعم من 0.531 بموجب فحص الاسترجاع فقط إلى 0.363 بموجب الحكم الكامل.

والجدير بالذكر أن البحث كرمز يناسب شكل المهمة هذا جيدًا. يمكن للوكيل التعبير عن منطق الاسترجاع، والتصفية، والتوزيع، والانضمام، وإلغاء البيانات المكررة، والإيقاف كبرنامج. ثم يقوم الحساب الحتمي بمعالجة العمليات المتكررة خارج سياق النموذج.

استخدام الحالات مع الأمثلة

من الناحية العملية، تقوم WANDR بتعيين خرائط لفرق المهام التي يتم تشغيلها تلقائيًا بالفعل. يحتاج محلل السوق إلى كل منافس مؤهل، مع الأدلة المطابقة لكل منهم. ويحتاج فريق العناية الواجبة إلى عشرات الشركات، ثم الملكية، والمديرين التنفيذيين، والتمويل. يحتاج تحديد مصادر المواهب إلى العديد من المرشحين، ولكل منهم صفحات ملف تعريف داعمة. تختبر WANDR أنماط المجموعة الواسعة والعميقة هذه بالضبط على نطاق احترافي.

ونظرًا لأن التقدير يتم لكل سجل، فيمكن للفرق تحديد مكان حالات الفشل بدقة. تعزل شجرة النتائج الخسارة عن الاكتشاف أو الإثراء أو استخلاص الأدلة. يساعد هذا التشخيص المهندسين على تحسين مرحلة واحدة ضعيفة في كل مرة.

الوجبات السريعة الرئيسية

• WANDR هو معيار مفتوح يحتوي على 500 مهمة ثقيلة وواسعة وعميقة.
• تستخدم المهام التسلسل الهرمي لمفتاح المؤهل الذي تم التحقق من صحته بواسطة المسار.
• التقدير خالي من المراجع؛ يقوم الممهد بإعادة جلب الأدلة المذكورة والتحقق منها.
• البحث الحائر كرمز يؤدي إلى 0.363 soft F1 و0.133 hard F1.
• يبقى الاكتشاف والأدلة الكاملة أكبر نقاط الفشل.

تحقق من التفاصيل الفنية و الريبو هنا. أيضا، لا تتردد في متابعتنا على تغريد ولا تنسى الانضمام إلينا 150 ألف + مل والاشتراك في النشرة الإخبارية لدينا. انتظر! هل أنت على برقية؟ الآن يمكنك الانضمام إلينا على التليجرام أيضًا.

هل تحتاج إلى الشراكة معنا للترويج لصفحة GitHub Repo أو صفحة الوجه المعانقة أو إصدار المنتج أو الندوة عبر الويب وما إلى ذلك؟ تواصل معنا