تعتبر نماذج MoE الهجينة الكبيرة مثل Nemotron-3-Super دقيقة ولكنها مكلفة في الخدمة. تحدد معلماتها النشطة وذاكرة التخزين المؤقت KV وحالة Mamba عدد المستخدمين الذين يمكن للعقدة الاحتفاظ بهم بمعدل رمزي محدد لكل مستخدم. لقد أطلق فريق NVIDIA AI نيموترون-لابز-3-Puzzle-75B-A9B، نسخة مضغوطة من Nemotron-3-Super. يحتوي النموذج الأصلي على 120.7B إجماليًا و12.8B معلمات نشطة. يحتوي النموذج المضغوط على 75.3B إجماليًا و9.3B معلمات نشطة.
تم إصلاح هدف النشر قبل بدء البحث عن البنية. كان الهدف الأول هو مضاعفة إنتاجية الخادم بمعدل 100 رمز مميز في الثانية لكل مستخدم. كان الهدف الثاني هو 8 طلبات متزامنة لـ 1M-token على H100 واحد. ثلاث نقاط تفتيش على الوجه المعانق: BF16، FP8، وNVFP4.
ليرة تركية؛ د
- 120.7B/12.8B يضغط إلى 75.3B/9.3B نشط، مع الحفاظ على التخطيط المختلط المكون من 88 كتلة.
- يرتفع إجمالي الإنتاجية 8xB200 بمقدار 1.60x إلى 2.14x مقارنة بـ Super عند NVFP4 المطابق وإنتاجية المستخدم المتطابقة.
- تتراوح نسبة التزامن لرمز H100 1M من 1 إلى 8، مدفوعة بانخفاض الوزن بمقدار 70 جيجابايت إلى 44.5 جيجابايت.
- يتفوق اللغز التكراري على اللغز أحادي الخطوة بمتوسط 0.57 نقطة عند نفس هدف الضغط.
- Arena-Hard-V2 (-4.2) وSWE-Bench (-2.6) هي التكاليف الحقيقية؛ RULER وAA-LCR بالكاد يتحركان.
نيموترون-لابز-3-Puzzle-75B-A9B
Nemotron-3-Super هو نموذج هجين من Mamba-Transformer MoE. يحافظ Puzzle-75B-A9B على تخطيط كتلة الوالدين تمامًا. تحتوي على 88 قطعة: 40 مامبا، 40 مو إي، و8 كتل انتباه.
ما تغير هو القدرة داخل تلك الكتل:
| كمية | ممتاز | لغز-75B-A9B | نسبة |
|---|---|---|---|
| مجموع المعلمات | 120.7 ب | 75.3 ب | 62.4% |
| المعلمات النشطة | 12.8 ب | 9.3 ب | 73.1% |
| حجم حالة مامبا SSM | 128 | 96 | 75% |
| وزارة التربية توجيه خبير متوسط الحجم | 2688 | 1280-2688 | يعني 59.9% |
| تنشيط الخبراء الموجهين لكل رمز مميز | 22 | 4-18 | يعني 50% |
| قدرة الخبراء الموجهة النشطة (نسبية) | 100% | 8.7%-62.3% | يعني 30.9% |
ولم يتغير عدد الخبراء الذين تم توجيههم، وحجم الخبراء المشترك، والحجم الكامن لوزارة التربية والتعليم. تم ترك طبقات الاهتمام دون تغيير. السبب المعلن للبحث المقترح هو أن Nemotron-3-Super يتمتع بالفعل بكفاءة عالية في التخزين المؤقت لـ KV. تم تقليم طبقات Mamba بشكل موحد، لأن أطر الاستدلال لا تدعم حجم حالة SSM مختلفًا لكل طبقة.
والنتيجة ليست معلمًا مصغرًا بشكل موحد. ويوضح الشكل أعلاه التخصيص عبر العمق. يحتفظ اللغز بقدرته في طبقات متوسطة ومتأخرة مختارة، ويتم قطعه بقوة في أماكن أخرى.
المعيار والأداء
يوضح الجدول أدناه إجمالي إنتاجية باريتو الأمثل على عقدة واحدة 8xB200، مع فك تشفير بخطوة واحدة.
| السيناريو (داخل/خارج) | أرضية يو تي | سوبر (توك / ثانية) | لغز-75B-A9B (توك/ث) | يعزز |
|---|---|---|---|---|
| 50 ألف / 2 ألف | >= 100 | 5,128 | 8,210 | 1.60x |
| 50 ألف / 2 ألف | >= 125 | 3,784 | 6,412 | 1.69x |
| 50 ألف / 2 ألف | >= 150 | 2,532 | 4,523 | 1.79x |
| 8 كيلو / 64 كيلو | >= 100 | 20,939 | 42,601 | 2.03x |
| 8 كيلو / 64 كيلو | >= 125 | 13,074 | 27,918 | 2.14x |
| 8 كيلو / 64 كيلو | >= 150 | 8,522 | 18,047 | 2.12x |
تم تقديم كلا الطرازين بأوزان NVFP4 المتطابقة، وذاكرة التخزين المؤقت FP8 KV، وحالة FP16 Mamba. ولذلك تعكس الفجوة الضغط، وليس التغيير في التنسيق الرقمي. نظام 50K/2K ذو التعبئة المسبقة هو الأقل مكاسب. نظام فك التشفير الثقيل 8K/64K هو الأكثر ربحًا.
على عقدة واحدة 8xH100 عند UT = 100، تكون المكاسب أصغر. وهي 1.91x على 50K/2K و1.82x على 8K/64K. يستخدم كلا الطرازين أوزان FP8 وذاكرة التخزين المؤقت FP8 KV وحالة FP32 Mamba.
في H100 واحد بسياق 1M، ينقلب قيد الربط من الحساب إلى الذاكرة. تشغل أوزان Super’s NVFP4 حوالي 70 جيجابايت من ميزانية HBM البالغة 80 جيجابايت. يضيف كل طلب رمز مميز يبلغ 1M حوالي 4 جيجابايت من ذاكرة التخزين المؤقت KV. وبالتالي فإن التزامن الفعال هو 1.
تشغل أوزان NVFP4 الخاصة بـ Puzzle-75B-A9B حوالي 44.5 جيجابايت. لم يتغير تخطيط الاهتمام، لذلك لم تتغير تكلفة KV لكل طلب. يرتفع التزامن عند 1M إلى 8. يبلغ إجمالي إنتاجية فك التشفير عند هذا التزامن حوالي 4x إنتاجية الطلب الفردي لـ Super. تعد التعبئة المسبقة لمطالبة 990 ألف رمز مميز أسرع بحوالي 1.2 مرة.
كيف يعمل اللغز التكراري
Puzzle عبارة عن إطار بحث متحلل للهندسة العصبية، ويتم تنفيذه هنا باسم Puzzletron. إنه يحدد مساحة بحث منفصلة لتطبيقات الطبقة البديلة. يحصل كل بديل على نقاط الجودة. يقوم برنامج الأعداد الصحيحة المختلطة بعد ذلك بتحديد بديل واحد لكل طبقة ضمن قيود النشر.
ثلاث تقنيات تشذيب تشكل مساحة البحث:
- تشذيب القناة المتوسطة: يتم ترتيب القنوات الموجودة داخل كل خبير موجه حسب مساهمتها في مخرجات الخبير. يتم تقليم جميع الخبراء الموجودين ضمن طبقة MoE واحدة إلى حجم موحد، من أجل توافق النواة.
- الحد من أعلى ك: يختلف عدد الخبراء الذين يتم توجيه الرمز المميز إليهم لكل طبقة، حتى k للأصل = 22.
- تشذيب مامبا SSM: ينخفض حجم حالة SSM من 128 إلى 96 قناة.
يتم قياس نتيجة SSM. يؤدي إسقاط 128 قناة إلى 96 إلى زيادة سرعة نواة SSM من 1.2x إلى 1.3x أثناء فك التشفير. ينطبق هذا على أحجام الدُفعات التي تتراوح بين 8 و512. تم ترتيب القنوات حسب المساهمة المقدرة في إخراج طبقة Mamba. بلغ متوسط التقدير أكثر من 67 مليون رمزًا لبيانات التحقق من الصحة. يُظهر الملحق (أ) أن هذا يتفوق على اختيار القناة العشوائية في ظل التقليم القوي.
تفترض الصيغة الأصلية أن تأثيرات جودة الاستبدال تكون إضافية تقريبًا. يتم تسجيل كل كتلة مرشحة داخل الأصل غير المعدل. وهذا يتجاهل التفاعلات ذات الترتيب الأعلى بين البدائل.
يقوم اللغز التكراري بتبديل الضغط المحدود مع استعادة تقطير المعرفة القصيرة. فهو يبني تسلسل M0، M1، … MR بدلاً من القفز إلى الهدف. تتم إعادة حساب النتائج وفقًا للنموذج المضغوط الحالي، وليس الأصل الأصلي.
تم استخدام ثلاث مراحل:
- تصل نسبة وزارة التربية والتعليم إلى 75% من قدرة المعلمين، وولاية مامبا SSM إلى 75%. تم شفاءه مقابل 24 مليار رمز.
- وزارة التربية والتعليم ترجح نسبة 60% من قدرة المعلم. تم الشفاء مقابل 43.2 مليار رمز.
- تفعيل ميزانية الخبراء الموجهة إلى 50%، يتم تخصيصها بشكل غير متجانس. تم الشفاء مقابل 52.8 مليار رمز.
يقارن الجدول أعلاه هذا مع خط الأساس للغز ذو الخطوة الواحدة عند نفس الهدف. ويبلغ متوسط الإجراء المكون من ثلاث خطوات 69.05 عبر عشرة معايير، مقابل 68.48. تظهر المكاسب على MMLU-Pro، وGPQA، وHLE، وAA-LCR، وLiveCodeBench، وSciCode، وRULER-256K. انخفض مؤشر IFBench-Instruction بمقدار 0.2 نقطة وانخفض مؤشر IFBench-Prompt بمقدار 0.5 نقطة.
الاسترداد: التقطير، RL، والإسهاب
تم تشغيل تقطير المعرفة على 30% من بيانات التدريب المسبق و70% من بيانات SFT من Nemotron-3-Nano. أثناء مرحلة اللغز، استخدم KD طول تسلسل يبلغ 32 ألفًا. تم بعد ذلك تدريب التعافي بسرعة 128 ألفًا، ثم تدرج إلى 512 ألفًا. كانت الميزانية تصل إلى 100 مليار رمز، مع دفعة عالمية مكونة من 16 مليون رمز، في Megatron-LM.
اعتمد RL بعد التدريب المرحلة الثانية من خط أنابيب Nemotron-3-Super RL، مع التركيز على هندسة البرمجيات. قامت المرحلة 2.1 بمقارنة استخدام الأداة في خطوة واحدة. تم نقل المرحلة 2.2 إلى وضع الحماية الشامل RL، حيث يقوم الوكلاء بتشغيل ما يصل إلى 200 دورة. استخدمت كلتا المرحلتين عقوبة KL بقيمة 0. اكتسح الفريق معدلات التعلم، ثم قام بحساب متوسط الأوزان الناتجة.
يوضح الشكل 4 أعلاه ما ساهمت به كل مرحلة. يستعيد KD ذو السياق القصير معظم الفئات إلى أكثر من 97% من Nemotron-3-Super. يقوم KD ذو السياق الطويل بعد ذلك برفع معايير المدخلات الطويلة والجيل الطويل على وجه التحديد. يذكر فريق البحث أن تأثير RL في هذه التجارب كان صغيرًا.
الإسهاب هو التفاصيل الهادئة. بعد تكرار اللغز الأخير، أنتج النموذج 132% من عدد الرموز المميزة لـ Super. وانخفض ذلك إلى 99٪ بعد خط أنابيب التعافي الكامل.
النشر: التكميم والتنبؤ بالرموز المتعددة
تم إنتاج وصفتين لتكميم ما بعد التدريب: FP8 W8A8 يستهدف هوبر وNVFP4 W4A4 يستهدف بلاكويل.
| عنصر | خط الأساس BF16 | نقطة تفتيش FP8 | نقطة تفتيش NVFP4 |
|---|---|---|---|
| نماذج GEMMs المتفرقة والمشتركة لوزارة التربية والتعليم | BF16 | FP8 | NVFP4 |
| مامبا جيممس | BF16 | FP8 | FP8 |
| ذاكرة التخزين المؤقت Mamba SSM | FP32 | FP32 | FP16 + ريال |
| مخبأ كيلو فولت | FP8 | FP8 | FP8 |
| جهاز التوجيه | FP32 | FP32 | FP32 |
| انتبه إلى QKV/الإخراج، وإسقاطات وزارة التربية الكامنة، ورئيس LM | BF16 | BF16 | BF16 |
تمت معايرة كلتا الوصفتين على 256 عينة من SFT بعد التدريب. يستخدم NVFP4 الحد الأقصى للمعايرة، وليس بحث حساسية AutoQuantize المستخدم في Super. يتم قياس نقطة التفتيش الناتجة بقوة أكبر قليلاً، ويتم تنفيذها بالمثل.
NVFP4 غير مدعوم أصلاً على Hopper. ولا يزال يُستخدم لهدف H100 بسياق 1M، نظرًا لأن سعة HBM ترتبط هناك.
يرث Puzzle-75B-A9B رأس MTP مشتركًا من Super. تتم مشاركة المعلمات عبر خطوات MTP، بحيث يتم تطبيق رأس واحد بشكل متكرر عند الاستدلال. أعطى نقل رأس Super المدرب مباشرة أطوال قبول مماثلة.
ثم يحدد فريق البحث عدم تطابق استنتاج التدريب. يغذي تدريب MTP الذي يفرضه المعلم تسلسل الحالة المخفية المتغير بالكامل. بدلاً من ذلك، تغذي صياغة الانحدار الذاتي مزيجًا من الحالات المخفية للنموذج المستهدف والحالات المخفية التي تم إنشاؤها بواسطة الخطة المتوسطة الأجل. تنخفض معدلات القبول في مواقف المسودة الأعمق.
التدريب المستمر على الرأس المنقول يعالج هذا الأمر. على SPEED-Bench عند طول المسودة 7، ارتفع متوسط طول القبول من 3.45 إلى 4.34. وهذا ما يقرب من 25% إلى 30%، يتركز في مواضع المسودة اللاحقة. على عكس Super، فإن نقطة تفتيش NVFP4 بالكاد تتحلل: 4.31 مقابل 4.34.
حيث يساعد الضغط وأين يؤلم
| المعيار (BF16) | ممتاز | لغز-75B-A9B | دلتا |
|---|---|---|---|
| MMLU-Pro | 83.8 | 82.4 | -1.4 |
| AIME25 (بدون أدوات) | 92.2 | 89.7 | -2.5 |
| GPQA (بدون أدوات) | 80.5 | 78.6 | -1.9 |
| LiveCodeBench | 82.1 | 81.1 | -1.0 |
| SciCode (مهمة فرعية) | 42.3 | 40.6 | -1.7 |
| مقعد SWE (الأيدي المفتوحة) | 59.5 | 56.9 | -2.6 |
| ارينا-هارد-V2 | 72.8 | 68.6 | -4.2 |
| أأ-لكر | 56.8 | 56.9 | +0.1 |
| حاكم 1M | 93.9 | 92.2 | -1.7 |
| MMLU-بروكس | 79.5 | 77.5 | -2.0 |
ملخص الورقة البحثية هو أن تقييمات متابعة التعليمات والوكلاء هي الأكثر خسارة. Arena-Hard-V2 هو أسوأ الحالات، عند -4.2 نقطة. يظل RULER ضمن نقطة واحدة إلى نقطتين تقريبًا عند 256 ألفًا و512 ألفًا و1 مليونًا.
ثلاث نتائج BF16 لا تتراجع. مكاسب AA-LCR 0.1، وScale AI Multi-Challenge عند 56.6، وTauBench Telecom مكاسب 0.4.
NVFP4 لا يكلف سوى القليل بالإضافة إلى الضغط. في RULER 1M، حصلت نقطة تفتيش NVFP4 على 93.2، أعلى من 92.2 التي حصل عليها BF16. HLE هي أوضح تكلفة NVFP4، حيث انخفضت من 16.5 إلى 15.7. توجد نتائج FP8 في الملحق E، وتتتبع BF16 عن كثب. لم يتم الإبلاغ عن SWE-Bench لنقطة تفتيش FP8.
حالات الاستخدام
- RAG ذات سياق طويل جدًا على وحدة معالجة رسومات واحدة: تنتقل خدمة تحليل المستندات في سياق 1M من طلب متزامن واحد إلى 8. ويبلغ إجمالي إنتاجية فك التشفير في هذا التزامن حوالي 4x.
- مساعدو الترميز التفاعلي: عند UT >= 100 tok/s في نظام 8K/64K، تخدم العقدة الواحدة 2.03x من الرموز المميزة. تم تعديلها من أجل الإسهاب، أي 2.16x الطلبات المكتملة في الدقيقة.
- خطوط الأنابيب ذات التعبئة المسبقة للمستندات الثقيلة: نظام 50K/2K يكسب 1.60x فقط. يساعد الضغط بشكل أقل عندما تهيمن المعالجة السريعة على الحوسبة.
- حلقات وكيل SWE: تحقق من فجوة SWE-Bench البالغة 2.6 نقطة مقابل مزيج المهام الخاص بك. استهدف استرداد RL هذه الإمكانية، وقام باستعادتها جزئيًا فقط.
مستكشف النشر
تحقق من وزن الورق والنموذج. أيضا، لا تتردد في متابعتنا على تغريد ولا تنسى الانضمام إلينا 150 ألف + مل والاشتراك في النشرة الإخبارية لدينا. انتظر! هل أنت على برقية؟ الآن يمكنك الانضمام إلينا على التليجرام أيضًا.
هل تحتاج إلى الشراكة معنا للترويج لصفحة GitHub Repo أو صفحة الوجه المعانقة أو إصدار المنتج أو الندوة عبر الويب وما إلى ذلك؟ تواصل معنا
اكتشاف المزيد من كحيل | أخبار التقنية
اشترك للحصول على أحدث التدوينات المرسلة إلى بريدك الإلكتروني.
