Skyfall AI تطلق MORPHEUS: معيار محاكاة مؤسسي مستمر يجعل التعلم المعزز المستمر ضروريًا في ظل الوضع غير الثابت المنظم

تعمل معظم معايير التعلم المعزز على إعادة ضبط العالم بعد كل حلقة. العمليات الحقيقية لا تتم إعادة ضبطها أبدًا. يستهدف MORPHEUS الخاص بـ Skyfall AI هذه الفجوة. إنها عبارة عن منصة محاكاة مؤسسية مستمرة للتعلم المعزز المستمر (CRL).

ما هو مورفيوس؟

يرتكز مورفيوس على فرضية العالم الكبير (جافيد وسوتون، 2024). تقول أن تعقيد العالم يتجاوز القدرة التمثيلية لأي وكيل. ونتيجة لذلك، تبدو البيئة غير ثابتة حتى في ظل الديناميكيات الثابتة.

لفرض التعلم المستمر، يتطلب MORPHEUS ثلاث خصائص: المثابرة، وعدم الثبات، والتعقيد التشغيلي. الثبات يعني أن القرارات الماضية تتراكم في ديناميكيات المستقبل. ويعني عدم الاستقرار أن أي سياسة ثابتة تصبح في نهاية المطاف دون المستوى الأمثل. التعقيد التشغيلي يعني عدم وجود سياسة مثالية ثابتة.

كل بيئة عبارة عن مكون إضافي لعالم TypeScript قائم بذاته. يقوم بتصدير الواصفات التشغيلية (ODs)، وجدولة المحاكاة، والبيانات الأولية، والوثائق. يحدد التطوير التنظيمي خطة التنفيذ خطوة بخطوة للقدرة. يعمل الوكلاء من خلال واجهة برمجة تطبيقات القدرة، وتقوم كل مكالمة بتشغيل تنفيذ OD.

كيف تعمل المنصة؟

بناءً على هذه البنية، تأتي عدم الثبات من محركين. أولاً، يقوم محرك الحقن الفاشل بإدخال اضطرابات مكتوبة بين خطوات التطوير التنظيمي. وهو يستمد من أحد عشر نوعا من الفشل، بما في ذلك missing_data, dependency_failure، و rate_limit. يتم تشغيله بأربعة معدلات محددة مسبقًا: خفيف (5%)، واقعي (8%)، متوسط ​​(15%)، عدواني (30%).

ثانيًا، تعمل وحدة التحكم في تغيير التكوين غير المتزامنة على تغيير الإعدادات المسبقة للفشل والطلب عند طوابع زمنية ثابتة. إنه يعمل بشكل مستقل عن حلقة التدريب، لذا لا تتماشى التحولات أبدًا مع تحديثات التدرج. يؤدي هذا إلى منع الوكيل من استخدام دورية التحديث كساعة وكيل.

وإلى جانب هذه المحركات، تأتي المكافأة من ثلاث جهات تحقق تشغيلية تم تسجيلها محليًا بواسطة المنصة. هذه هي إشارات حدث الفشل وحالة دفتر الأستاذ المالي وإنتاجية الموارد. والمكافأة المركبة تجمعهم. الأوزان الافتراضية هي w_f = 0.5 و w_l = w_p = 0.25.

# Composite reward — MORPHEUS, Appendix C (default weights).
def clip(x, lo, hi):
    return max(lo, min(hi, x))

def composite_reward(tickets, actual_cost, planned_cost, units, capacity,
                     w_f=0.5, w_l=0.25, w_p=0.25):
    r_f = -sum(t["severity"] for t in tickets)          # failure event signal
    r_l = clip(1 - actual_cost / planned_cost, -1, 1)   # financial ledger
    r_p = clip(units / capacity, 0, 1)                  # resource throughput
    return w_f * r_f + w_l * r_l + w_p * r_p

وفي ظل افتراضات الحد الأعلى (صفر حالات الفشل، والحد الأدنى من التكلفة، والإنتاجية الكاملة)، فإن الحد لكل تكوين يساوي 0.50.

تهيئة السياسة

نظرًا لأن مساحة العمل كبيرة، فإن RL النقي من الصفر غير عملي. ولذلك يستخدم MORPHEUS خط أنابيب من مرحلتين. يجمع النموذج الحدودي (Gemini 3.1 pro) المسارات باستخدام إطار عمل ReAct. تقوم هذه الآثار بعد ذلك بضبط Qwen3-14B عبر الضبط الدقيق تحت الإشراف (SFT).

وبالتالي، يبدأ كل تشغيل RL من نقطة تفتيش SFT المشتركة هذه. وهذا يعزل سلوك التعلم المستمر عن الكفاءة التشغيلية الأساسية. تستخدم جميع الخطوط الأساسية بعد ذلك PPO كمُحسِّن أساسي لمرحلة ما بعد التدريب عبر الإنترنت.

بروتوكول التقييم الستة متري

مع تحديد التدريب، فإن المكافأة التراكمية وحدها ليست كافية. يخفي المجموع العددي الأداء عبر أفق غير ثابت. لذا يقترح فريق البحث ستة مقاييس بدلاً من ذلك. هذه هي المكافأة لكل تكوين، وسرعة التكيف، والنسيان، ووقت الاسترداد، والاستقرار، وفجوة الأداء.

ومن بين هذه العوامل، تعد سرعة التكيف هي المقياس الرئيسي. يقوم بحساب الخطوات حتى يصل متوسط ​​المكافأة الجارية إلى نصف الحد الأعلى. يتتبع تشخيصان إضافيان أيضًا ميزة التكيف النسبي (RAA) واللدونة من خلال التصنيف الفعال.

النتائج الأساسية

باستخدام هذا البروتوكول، يقوم فريق البحث باختبار أربع عائلات خوارزمية من نقطة تفتيش SFT المشتركة. تم تحديد مهمتين. المهمة 1 هي التخصيص الديناميكي للموارد في ظل الانجراف المنظم. المهمة 2 هي الجدولة تحت الانجراف مع التأثيرات المتأخرة.

عبر هذه النتائج، لا توجد عائلة واحدة تهيمن. على process-outbound المهمة 1، EWC تقود المكافأة ويتكيف LCM بشكل أسرع. في المهمة 2، تقود HER المكافأة بينما يفقد LCM ميزته في ظل المكافأة المتأخرة. وفي الوقت نفسه، فإن متوسط ​​فجوات الأداء يقترب من 1.0 لكل طريقة. ويشير هذا إلى عجز ضخم في الدولة المستقرة، وليس إلى فجوة ضبط بسيطة.

والجدير بالذكر أن PPO وHER يتكيفان بشكل عام فقط في التكوين الأول. ثم يفشلون في التكيف مع الأنظمة اللاحقة، حتى بدون إشارات التسمية.

استخدام الحالات مع الأمثلة

من الناحية العملية، يناسب مورفيوس عدة أدوار للقارئ. بالنسبة لمهندسي الذكاء الاصطناعي، فهو يختبر ما إذا كان الوكيل يكتشف تغيرات النظام دون تسميات. على سبيل المثال، يتحول الطلب من منخفض إلى متفجر، ويجب أن تتكيف السياسة دون أي إشارة.

بالنسبة لعلماء البيانات، فإنه يؤكد على تأخير تخصيص الاعتماد. على سبيل المثال، يمكن ملاحظة التسليم في الوقت المحدد بالكامل (OTIF) بعد أيام فقط من قرار الإرسال. بالنسبة لمهندسي البرمجيات، يسمح تنسيق البرنامج الإضافي TypeScript بتبادل المكافآت أو تبديل إمكانية المراقبة دون تغيير الديناميكيات.

نقاط القوة والضعف

نقاط القوة:

• عوالم مستمرة بدون إعادة تعيين، تتوافق مع أنظمة المؤسسة المنشورة.
• تحولات النظام القابلة للقياس والقابلة للتكرار لإجراء مقارنة عادلة بين الخوارزميات.
• مكافآت من جهات التحقق التشغيلية المحلية، ولا تحتاج إلى شرح خارجي.
• رمز التقييم مفتوح المصدر (Skyfall-Research/morpheus-evals).

نقاط الضعف:

• تم تقييم بيئتين فقط من أصل خمس بيئات حتى الآن.
• ويفترض الحد الأعلى عدم حدوث أي فشل، لذلك يظل متفائلاً.
• يتم إحداث التحولات من الخارج، وليس مدفوعة بقرارات مركبة.
• تعتبر أوزان المكافآت متغيرات بحثية، وليست أهدافًا صناعية تم التحقق من صحتها.

الوجبات السريعة الرئيسية

• يدير MORPHEUS عوالم مؤسسية مستمرة لا تتم إعادة ضبطها أبدًا، على عكس معايير RL العرضية.
• يشحن خمس بيئات. يتم تقييم اثنين هنا: process-outbound و process-inbound.
• يسجل البروتوكول المكون من ستة مقاييس المكافأة لكل تكوين، والتكيف، والنسيان، والتعافي، والاستقرار، والفجوة إلى الحد الأعلى.
• أربعة خطوط أساسية (PPO، HER، EWC، LCM) تقع جميعها تحت الحد الأعلى النظري بكثير.
• لا توجد خوارزمية واحدة تفوز؛ سرعة المكافأة والتكيف تختار فائزين مختلفين.

تحقق من ورق و صفحة المشروع. أيضا، لا تتردد في متابعتنا على تغريد ولا تنسى الانضمام إلينا 150 ألف + مل والاشتراك في النشرة الإخبارية لدينا. انتظر! هل أنت على برقية؟ الآن يمكنك الانضمام إلينا على التليجرام أيضًا.

هل تحتاج إلى الشراكة معنا للترويج لصفحة GitHub Repo أو صفحة الوجه المعانقة أو إصدار المنتج أو الندوة عبر الويب وما إلى ذلك؟ تواصل معنا