تقدم Cisco AI FAPO: التحسين السريع المدرك لخطوط الأنابيب مع إسناد الفشل على مستوى الخطوة وتنسيق كود Claude

لا يزال الحصول على المطالبات بشكل صحيح هو الجزء الأصعب في شحن تطبيقات LLM الموثوقة. التغييرات الصغيرة في الصياغة يمكن أن تؤثر على الدقة بنسبة 20 بالمائة. ما ينجح في بعض الأمثلة غالبًا ما ينكسر على نطاق واسع. عندما يقوم خط أنابيب متعدد الخطوات بإرجاع إجابة خاطئة، فإن العثور على الخطوة الفاشلة يعني فحص المخرجات الوسيطة يدويًا.

تم تقديم Cisco AI فابو لمعالجة هذا الاختناق. يرمز FAPO إلى التحسين الفوري المؤتمت بالكامل. إنه نظام يعتمد على Claude Code ويعمل على تحسين خطوط أنابيب LLM من المطالبات الأساسية إلى الدقة المستهدفة. يمكنك توفير مجموعة بيانات وموجه أولي. ثم يقوم FAPO بتقييم وتصنيف حالات الفشل واقتراح المتغيرات والتحقق من صحتها وتكرارها. يتم تنسيق الحلقة بأكملها بواسطة وكلاء Claude Code. يأتي المشروع مفتوح المصدر ضمن Apache 2.0، ويدعم أيضًا Codex كعامل التحسين.

في تقييم Cisco المُبلغ عنه، تفوق FAPO على GEPA، وهو مُحسِّن سريع متطور، في 15 من 18 مقارنة معيارية للنماذج. في المعيارين القياسيين حيث تصاعدت FAPO إلى تغييرات في خطوط الأنابيب، وصل متوسط ​​الربح على GEPA إلى +33.8pp.

ليرة تركية؛ د

• FAPO هو نظام يعتمد على كود Claude ويعمل بشكل مستقل على تحسين خطوط أنابيب LLM متعددة الخطوات من المطالبات الأساسية إلى الدقة المستهدفة، ومفتوحة المصدر ضمن Apache 2.0.
• ويتصاعد الأمر عبر ثلاثة مستويات — الموجه، والمعلمة، ثم هيكل السلسلة — باستخدام إسناد الفشل على مستوى الخطوة لتحديد ما يجب تغييره بعد ذلك.
• في تقييم Cisco، تفوقت FAPO على GEPA في 15 من 18 مقارنة معيارية للنماذج، مع متوسط ​​ربح +14.1pp.
• في HoVer وIFBench، حيث تصاعد الأمر إلى تغييرات في خطوط الأنابيب، فاز FAPO بجميع الأزواج الستة بمتوسط ​​ربح +33.8pp؛ كان AIME هو الفوز الوحيد لـ GEPA، ضمن ضوضاء أخذ العينات.
• تتضمن حواجز الحماية ضد التجهيز الزائد فحصًا مقسمًا للتدريب فقط، وملفات متغيرة غير قابلة للتغيير، ومراجعًا مستقلاً لكل اقتراح.

ما هو فابو

FAPO هو إطار عمل للتقييم والتحسين متعدد المستأجرين. المستأجر هو مشروع تحسين قائم بذاته. يحتوي كل دليل مستأجر على مطالبات مهمة واحدة ومجموعة البيانات وتعريف السلسلة والمسجل والتكوين. يظل المستأجرون منعزلين، لذلك يتم تحسين المهام غير المرتبطة جنبًا إلى جنب دون تدخل.

يُطلق على المحرك الأساسي اسم هيفايستوس وهو حيادي المجال. يتعامل مع التقييم والتنفيذ المتسلسل والتسجيل. السلاسل عبارة عن رسوم بيانية لحالة LangGraph تعالج كل حالة اختبار. خارج الصندوق، يدعم FAPO ثلاثة مقدمي خدمات: OpenAI، وBaseten، وSageMaker.

المدخل الوحيد الذي يجب عليك إحضاره هو مجموعة البيانات. إن المدخلات المقترنة والمخرجات المتوقعة هي التي تحدد النجاح. يقوم FAPO بتقسيمها إلى مجموعة التحقق من الصحة ومجموعة الاختبار المعلقة. مجموعة التحقق من الصحة تدفع التكرار؛ يتم استخدام مجموعة الاختبار فقط للتقييم النهائي لمرة واحدة. من خلال وصف المهمة، يستطيع كلود دعم الباقي: الموجه الأولي، والسلسلة، والمسجل.

كيف تعمل حلقة التحسين

بمجرد وجود القطع، يقوم FAPO بتشغيل حلقة مغلقة حتى يتم الوصول إلى الدقة المستهدفة. تمر كل دورة بستة مراحل:

1. يقيم – تشغيل السلسلة على مجموعة البيانات، وجمع الدرجات لكل حالة ومخرجات مستوى الخطوة.
2. يصف – تصنيف حالات الفشل حسب السبب الجذري باستخدام الاستدلال القائم على القواعد بالإضافة إلى تحليل LLM.
3. اقتراح – إنشاء متغير يستهدف مجموعة الفشل المهيمنة.
4. مراجعة – يقوم وكيل مستقل بالتحقق من صحة الاقتراح فيما يتعلق بالامتثال للنطاق وتسريب البيانات.
5. يقارن – لا تقبل البديل إلا إذا كان يتحسن عن الأفضل السابق، وإلا ارفضه.
6. أعاد – استمر حتى يتم الوصول إلى الدقة المستهدفة أو استنفاد ميزانية التحسين.

يعمل النظام على ثلاثة مستويات تصاعدية. تعتبر التعديلات السريعة أقل تكلفة ويتم تجربتها أولاً. تقوم تغييرات المعلمة بضبط قيم التكوين مثل retrieval_k أو temperature. تغير التغييرات الهيكلية طوبولوجيا السلسلة، مثل إضافة عقدة الانعكاس الذاتي أو التبديل إلى نمط ReAct. يستنزف FAPO مستوى واحدًا قبل التصعيد إلى المستوى التالي.

يقوم إسناد الخطوة بفرز حالات الفشل إلى أربع فئات. تؤدي حالات فشل الاسترداد إلى إرجاع محتوى فارغ أو غير ذي صلة. تبدأ حالات الفشل المتتالية عندما تنتج خطوة مبكرة مخرجات فارغة. يؤدي فشل التنسيق إلى إخفاء الإجابة الصحيحة داخل النص الذي لا يستطيع المسجل تحليله. تحدث حالات الفشل في الاستدلال عندما تستمر المدخلات الجيدة في إنتاج استنتاج خاطئ. يمكن معالجة مشكلات التنسيق والمنطق بشكل سريع. تعتبر قضايا الاسترجاع والتسلسل قابلة للمعالجة من الناحية الهيكلية.

تمنع حواجز الحماية المُحسِّن من التجهيز الزائد. فهو يقوم بفحص حالات تقسيم التدريب فقط، بينما يكشف التحقق من الصحة والاختبار عن الدرجات الإجمالية فقط. كل متغير هو ملف جديد غير قابل للتغيير، ولا يتم تحريره في مكانه أبدًا. يقوم مراجع مستقل بفحص كل مقترح قبل تشغيله.

الحالة المرجعية: FAPO مقابل GEPA

قام فريق Cisco بتقييم FAPO مقابل GEPA (الهندسة التطورية السريعة المعممة)، وهي طريقة متطورة للتحسين الفوري. تستخدم GEPA البحث التطوري مع العوامل الجينية لتحسين المطالبات لخطوط الأنابيب متعددة الخطوات. بدأ كلا النظامين من خطوط أنابيب ومطالبات أساسية متطابقة. يمكن أن يتصاعد FAPO إلى تغييرات هيكلية عندما يجد الإسناد اختناقات. اقتصرت GEPA على التحسين الفوري.

امتدت المقارنة إلى ستة معايير وثلاثة نماذج مهام: GPT-4.1-mini، وGPT-5.4-mini، وGemma 3-12B. كان كلود أوبوس 4.6 بمثابة منسق FAPO وعاكس GEPA. يتم حساب متوسط ​​الدرجات أدناه عبر نماذج المهام الثلاثة.

فازت FAPO بـ 15 من أصل 18 مقارنة مرجعية للنماذج، بمتوسط ​​ربح +14.1pp على GEPA. في HoVer وIFBench، حيث تصاعدت FAPO إلى تغييرات خطوط الأنابيب، فازت بجميع أزواج النماذج المعيارية الستة. وكان متوسط ​​الربح هناك +33.8pp. في المعايير الأربعة دون تغييرات هيكلية، لا تزال FAPO تفوز بـ 9 من 12 من خلال التحسين السريع وحده. وكان AIME هو المعيار الوحيد الذي تقدمت فيه GEPA بفارق 3.1 نقطة مئوية. الفجوة أصغر من الانحراف المعياري عبر التجارب العشوائية.

تُظهر مقارنة القدرات اختلاف التصميم الذي أبلغت عنه Cisco. يعكس كل صف أدناه وصف المصدر للنظامين.

حيث يناسب: حالات الاستخدام

يستهدف FAPO خطوط أنابيب LLM متعددة الخطوات، وليس المطالبات الفردية. بعض الأمثلة الملموسة:

• الإجابة على سؤال متعدد القفزات: تقوم السلسلة باسترجاع المستندات، واستخراج الحقائق، والأسباب فوق الأدلة، وتنسيق الإجابة. في الإرشادات التفصيلية الموثقة لـ Cisco، ارتفعت سلسلة ضمان الجودة متعددة القفزات من 39.3% إلى 70.3% للتحقق من المطابقة التامة عبر تكرارين. ثم قام الإسناد بوضع علامة على حالات الفشل المتبقية على أنها محدودة الاسترجاع، مما يشير إلى إصلاح هيكلي. بشكل منفصل، في معيار HotpotQA، وصلت FAPO إلى دقة اختبار تبلغ 68.3% مقابل 61.8% لـ GEPA.
• التعليمات التالية: في IFBench، دفعت حالات فشل قيود التنسيق FAPO إلى التصعيد إلى ما هو أبعد من المطالبات، حيث وصلت دقة الاختبار إلى 80.7%.
• تصنيف: يمكن دعم مهمة اسم البرنامج إلى الفئة بواسطة Claude Code، ثم تحسينها لتتوافق تمامًا مع الأهداف.
• وكلاء التفاعل: يعمل ملحق سير عمل MCP على تحسين وكيل ReAct الذي يستدعي الأداة باستخدام تسجيل المسار وتسجيل LLM-as-Judge.

ابدء

أسرع مسار هو السماح لـ Claude Code بإنشاء ملفات المستأجر. من الريبو، قم بوصف مهمتك باللغة الإنجليزية البسيطة، ثم قم بإضافة مجموعة بيانات JSONL. كل سطر عبارة عن حالة اختبار واحدة case_id, task_type, context, expected، و metadata:

{"case_id": "1", "task_type": "qa", "context": {"question": "What is the capital of France?"}, "expected": {"answer": "Paris"}, "metadata": {}}
{"case_id": "2", "task_type": "qa", "context": {"question": "What is 2 + 2?"}, "expected": {"answer": "4"}, "metadata": {}}

يقارن الهداف مخرجات السلسلة بالإجابة المتوقعة. ينفذ validate_case للقبض على البيانات السيئة في وقت مبكر و score_case لإرجاع النتيجة المركبة:

from hephaestus.scoring.scorer import Scorer as BaseScorer

class Scorer(BaseScorer):
    def validate_case(self, case, scoring_profile):
        assert "answer" in case.expected, "Missing 'answer' in expected"

    def score_case(self, case, output_text, scoring_profile):
        expected = case.expected["answer"].strip().lower()
        predicted = output_text.strip().lower()
        em = 100.0 if predicted == expected else 0.0
        return {"composite_score": em, "score_breakdown": {"exact_match": em}}

التحقق من الإعداد مع تقييم خط الأساس:

export OPENAI_API_KEY="sk-..."
python -m hephaestus.cli eval --config tenants/my_project/configs/eval.json

ثم قم باستدعاء وكيل التحسين باستخدام معايير المستأجر والتكوين والنجاح مثل composite_score >= 90. يقوم كلود كود بإنتاج عقد نطاق، ثم يتكرر بشكل مستقل. تتم كتابة كل متغير سريع وتكوين وتحليل لكل متغير على القرص، بحيث يظل كل تشغيل قابلاً للتدقيق. تقوم واجهة مستخدم محلية للقراءة فقط تسمى FAPO Explorer باستعراض العناصر بعد ذلك.

نقاط القوة والضعف

نقاط القوة

• يعزو التسجيل المدرك لخط الأنابيب حالات الفشل إلى الخطوة التي تسببت فيها، وليس فقط إلى الناتج النهائي.
• يعالج التصعيد ثلاثي المستويات حالات الفشل التي لا يمكن إصلاحها من خلال المطالبات وحدها.
• حواجز الحماية ضد التجهيز الزائد: فحص التدريب المقسم فقط، والمتغيرات غير القابلة للتغيير، والمراجع المستقل.
• مفتوح المصدر ضمن Apache 2.0، مع دعم كل من Claude Code وCodex.

نقاط الضعف

• تقتصر جودة التحسين على جودة مجموعة البيانات وتغطيتها، والتي يجب عليك توفيرها.
• المشروع حديث، لذا فإن سجلات الإنتاج المستقلة لا تزال محدودة.
• تعتمد الحلقة الافتراضية على أدوات التشفير الوكيل (Claude Code أو Codex) بدلاً من مُحسِّن مستقل.

الشرح التفاعلي

تحقق من الريبو و التفاصيل الفنية. أيضا، لا تتردد في متابعتنا على تغريد ولا تنسى الانضمام إلينا 150 ألف + مل والاشتراك في النشرة الإخبارية لدينا. انتظر! هل أنت على برقية؟ الآن يمكنك الانضمام إلينا على التليجرام أيضًا.

هل تحتاج إلى الشراكة معنا للترويج لصفحة GitHub Repo أو صفحة الوجه المعانقة أو إصدار المنتج أو الندوة عبر الويب وما إلى ذلك؟ تواصل معنا