يعمل نظام Error Diffusion الخاص بـ Sakana AI على تدريب شبكات التدفق المزدوج المتوافقة مع Dale، حيث يصل إلى 96.7% MNIST و61.7% CIFAR-10 بدون انتشار عكسي

يهيمن الانتشار العكسي على التعلم العميق، لكنه يستخدم آلية من المحتمل أن لا يستطيع الدماغ استخدامها. على وجه التحديد، التمريرة الخلفية تحتاج إلى تبديلات دقيقة لمصفوفات الوزن الأمامية. هذا هو مشكلة نقل الوزن. ورقة Sakana AI الجديدة، اللوم المنتشر، يواجه هذا القيد مباشرة. يقوم فريق البحث بتدريب الشبكات التي تطيع مبدأ ديل مع تجنب نقل الوزن تماما.

ما هو نشر الخطأ؟

انتشار الأخطاء (ED) هي قاعدة تعلم محلية، اقترحها كانيكو لأول مرة (2000). يعتمد كل تحديث للوزن على ثلاث إشارات فقط. هذه هي نشاط ما قبل المشبكي، ومشتق التنشيط بعد المشبكي، وعلامة خطأ عالمية واحدة. وبالتالي، لا يقوم ED مطلقًا بنقل الأوزان المنقولة إلى الأمام أو يستخدم مصفوفات ردود الفعل العشوائية. هذه المنطقة تجعل الضعف الجنسي متوافقًا بشكل طبيعي مع مبدأ ديل. ومع ذلك، أظهر العمل السابق ED فقط على التصنيف الثنائي وMNIST.

العمارة ثنائية الدفق

ولتلبية هذا القيد، قام فريق البحث بتقسيم كل طبقة إلى مجموعتين. تيار واحد مثير (ص)، والآخر مثبط (ن). يحسب التمرير الأمامي عمليات التنشيط المثبطة المثبطة لكل تيار:

p_i = φ_i( +p_{i-1} Wpp  − n_{i-1} Wnp  + bp )
n_i = φ_i( +n_{i-1} Wnn  − p_{i-1} Wpn  + bn )

هنا، تبقى جميع مصفوفات الوزن الأربعة غير سلبية من حيث العناصر. التحيزات bp و bn هي الاستثناء، لأنها لا تحتاج إلى أن تكون غير سلبية. وعلاوة على ذلك، فإن علامات النفي من قبل Wnp و Wpn هيكلية وليست متعلمة. لذلك تظل الاتصالات عبر الدفق مثبطة بينما تظل جميع الأوزان القابلة للتعلم غير سالبة. يحتاج هذا التصميم إلى أربع مصفوفات فرعية للوزن لكل طبقة. ونتيجة لذلك، فإنها تستخدم ما يقرب من 4 × معلمات أكثر من شبكة أحادية الدفق. بالنسبة للبنية نفسها، يكون هذا ∼ 32 مليونًا مقابل ∼ 8 مليونًا لـ DFA.

توجيه خطأ Modulo

مع وجود هذه البنية، يكون الامتداد الرئيسي هو توجيه خطأ modulo. يؤدي هذا إلى رفع انتشار الخطأ (ED) إلى ما هو أبعد من التصنيف الثنائي. للوحدة المخفية أنا، يقوم فريق البحث بتحديد التوجيه r(i) = i mod C. هنا، ج هو البعد الناتج. ثم تتعلم هذه الوحدة من مكون الخطأ الموجه. باختصار، يتم تخصيص قناة إخراج ثابتة واحدة لكل وحدة مخفية. على عكس DFA، الذي تكون مصفوفات ردود الفعل فيه عشوائية، يستخدم ED هذه المراسلات المنظمة.

ثلاثة ابتكارات التصنيف

بناءً على هذا التوجيه، يضيف فريق البحث ثلاثة إصلاحات للتصنيف متعدد الفئات:

1. عروض السيني الخاصة بطبقة معينة يستخدم φi(z) = 1/(1 + e−2z/αi). وبما أن المشتق السيني يرسل إشارة الخطأ مباشرة، فإن التوهين يكون شديدًا. في الواقع، يكشف التحليل اللاحق عن انحطاط قدره 25× من الإخراج إلى الطبقة المخفية الأولى. تحافظ السيني الأوسع على المشتقات أكبر، مما يمنع التشبع المبكر. قام الفريق بتعيين α = 3.0 للطبقات التلافيفية CIFAR-10 و α = 6.0 للطبقات المتصلة بالكامل.
2. خطأ في الفئة التي تركز على الدفعة يطرح متوسط ​​الدفعة الصغيرة لكل فئة. وهذا يجعل خطأ واحد مقابل الكل صفريًا عبر الدفعة لكل فئة. وبالتالي فهو يقلل من القمع المستمر الناجم عن اختلال التوازن المستهدف بنسبة 9:1.
3. التهيئة غير المتماثلة يقيس الأوزان المثيرة بمقدار 1.5× والأوزان المثبطة بمقدار 0.5×. وهذا يعطي نسبة مقياس E/I متوقعة تبلغ 3:1، بينما تظل طبقة الإخراج متماثلة.

أداء

مع جميع الابتكارات الثلاثة، يصل معدل انتشار الأخطاء (ED) إلى 96.7% في MNIST و61.7% في CIFAR-10. في المقابل، البذور ED بدونها ينهار إلى 50.4% و 11.6%. حصل DFA على درجات أعلى في كلتا المهمتين ولكنه ينتهك مبدأ ديل، باستخدام ∼ 2.84 مليون أوزان سلبية. والجدير بالذكر أن هذه هي المرة الأولى التي يقوم فيها قسم ED بتدريب الشبكات التلافيفية. سابقًا، وصلت Fujita (2026) إلى ∼55.2% على CIFAR-10 باستخدام MLP المسطح. ومع ذلك، يظل 61.7% بعيدًا عن الأساليب القياسية المعتمدة على التدرج.

عكس الاجتثاث

ومن المثير للاهتمام أن أهمية الابتكارات تتقلب بين المهام. في MNIST، تعد إزالة العروض الخاصة بالطبقة أمرًا كارثيًا (−71.4 صفحة)، مما يؤدي إلى انهيار الدقة تجاه الصدفة. لا يكاد يكون توسيط الدُفعة مهمًا هناك (.30.3 صفحة). ومع ذلك، في CIFAR-10، ينعكس الترتيب. تصبح إزالة الخطأ المتمركز حول الدُفعة أكبر انخفاض (−47.9 صفحة)، مما يؤدي إلى انهيار أربع من خمس بذور. يكشف هذا الانعكاس عن اختناقات تعيين الاعتمادات المعتمدة على المهام والتي تكون غير مرئية لتقييم المعيار الفردي.

انتشار الخطأ في التعلم المعزز

وبعيدًا عن التصنيف، قام فريق البحث بدمج ED مع تحسين السياسة القريبة (PPO). يسمون النتيجة إد-بو واختبره على Brax locomotion وCraftax. هنا، يتم توجيه خطأ سياسة الإخراج إلى الوحدات المخفية عن طريق قناة الإخراج. بالنسبة لشبكة القيمة العددية، يتم بث الخطأ إلى جميع الوحدات. الأهم من ذلك، أن ED-PPO يسقط ابتكارات التصنيف الثلاثة بالكامل. عبر خمس بذور، يتفوق ED-PPO على BP-PPO على HalfCheetah (5494 مقابل 3520؛ p <0.001) ويطابق DFA-PPO. في Ant، ​​يظل على قدم المساواة مع كلا متغيري PPO. في Craftax، في هذه الأثناء، DFA-PPO هي الطريقة الأضعف (19.8 مقابل BP-PPO 27.0). وبالتالي فإن ردود الفعل العشوائية الكافية للتصنيف يمكن أن تفشل في RL المفتوحة.

استخدام الحالات والأمثلة

ثلاثة إعدادات تجعل هذا ملموسًا:

• غالبًا ما تقوم الأجهزة العصبية والفوتونية بتشفير مقادير متشابكة غير سلبية جسديًا. يتم تعيين توجيه الإشارة الثابتة الخاص بـ ED بشكل واضح على هذه الركائز، مما يكمل عمل DFA الضوئي السابق.
• تدفع الأرضية غير السالبة 37.3% من الأوزان إلى الأرض (10⁻⁴) بعد التدريب. يتم تقليم الاتصالات المتصلة بالكامل عبر الدفق المثبطة بنسبة تصل إلى 68.8%. يشير هذا التناثر الضمني إلى ضغط النموذج “مجانًا”.
• قد يساعد التيار المثبط المخصص في التعلم المستمر والمفتوح. إنه يوفر آلية هيكلية لتخفيف الرحلات المتدرجة الكبيرة.

مقارنة

الحد الأدنى من رسم الكود

تُترجم المعادلات إلى حلقة تحديث توضيحية مدمجة:

import torch

def dual_stream_forward(p, n, Wpp, Wnp, Wnn, Wpn, bp, bn, phi):
    # All W >= 0; cross-stream signs are hardcoded inhibitory (Dale's principle)
    p_next = phi(p @ Wpp - n @ Wnp + bp)   # excitatory stream
    n_next = phi(n @ Wnn - p @ Wpn + bn)   # inhibitory stream
    return p_next, n_next

def routed_error(S, H, C):                 # S: output error, shape (B, C)
    M = torch.zeros(H, C)
    for i in range(H):
        M[i, i % C] = 1.0                  # r(i) = i mod C
    return S @ M.T                         # R = S M^T,  shape (B, H)

def ed_update(A_p, Z_p, R, phi_deriv):
    U_p = phi_deriv(Z_p) * R               # local postsynaptic drive
    return A_p.T @ U_p                     # dWpp  ∝  A_p^T U_p, shape (K, H)

الوجبات السريعة الرئيسية

• يعمل نظام Error Diffusion الخاص بـ Sakana AI على تدريب شبكات التدفق المزدوج المتوافقة مع Dale دون نقل الوزن أو مصفوفات ردود الفعل العشوائية.
• توجيه خطأ Modulo (r(i) = i mod C) يقيس القاعدة بعد التصنيف الثنائي إلى 96.7% MNIST و61.7% CIFAR-10.
• هناك ثلاثة ابتكارات تصنيفية تتناقض أهميتها بين MNIST وCIFAR-10، مما يكشف عن اختناقات تخصيص الاعتمادات المعتمدة على المهام.
• يجلب ED-PPO نفس البنية لتعزيز التعلم، حيث يطابق DFA-PPO على Brax ويتفوق عليه على Craftax.
• يتكلف مبدأ ديل 0.9-7.4 نقطة مقابل DFA عند التصنيف، وتحديد سعر الأوزان غير السالبة.

تحقق من ورق. أيضا، لا تتردد في متابعتنا على تغريد ولا تنسى الانضمام إلينا 150 ألف + مل والاشتراك في النشرة الإخبارية لدينا. انتظر! هل أنت على برقية؟ الآن يمكنك الانضمام إلينا على التليجرام أيضًا.

هل تحتاج إلى الشراكة معنا للترويج لصفحة GitHub Repo أو صفحة الوجه المعانقة أو إصدار المنتج أو الندوة عبر الويب وما إلى ذلك؟ تواصل معنا