نشر اتحاد أبحاث ألماني تقرير التدريب المسبق لـ صوفي S 30B-A3B. إنه نموذج قاعدة مفتوحة للغة الألمانية والإنجليزية. تم إجراء التدريب بشكل متواصل على سحابة الذكاء الاصطناعي الصناعية التابعة لشركة Deutsche Telekom في ميونيخ. أوزان المعاينة موجودة على Hugging Face. ومن الجدير بالذكر أنه من بين بعض النماذج الأساسية المفتوحة بالكامل التي تم اختبارها، سجلت Soofi S أعلى الدرجات الإجمالية في اللغة الإنجليزية والألمانية.
ما هو صوفي S 30B-A3B؟
Soofi S هو نموذج أساس مختلط من الخبراء (MoE) لمحول مامبا. يبلغ إجماليها ~ 31.6 مليار معلمة ويتم تنشيطها ~ 3.2 مليار لكل رمز مميز. كنموذج أساسي، لا يحتوي على تعليمات ضبط أو محاذاة أو ضبط أمان. تقوم KI Bundesverband بتنسيق الكونسورتيوم، الذي تموله الوزارة الفيدرالية الألمانية للشؤون الاقتصادية والطاقة. ومن بين المشاركين Fraunhofer IAIS، وDFKI، وTU Darmstadt، وellamind، وMerantix Momentum.
كيف تعمل الهندسة المعمارية؟
تبدأ المطالبة بالكفاءة بمكدس الطبقة. تحتوي الشبكة على 52 طبقة. وهي عبارة عن 23 طبقة خلط تسلسل Mamba-2، و23 طبقة MoE محببة، و6 طبقات انتباه الاستعلام المجمع (GQA). فقط تلك الطبقات الست GQA هي التي تحتفظ بذاكرة تخزين مؤقت KV. تحتوي كل طبقة MoE على 128 خبيرًا موجهًا، وتنشط 6 لكل رمز مميز، وتضيف خبيرين مشتركين. تفاصيل أخرى: أبعاد النموذج 2688، ومربع ReLU، وRMSNorm، ولا توجد تضمينات موضعية.
تتبنى Soofi S التصميم المرجعي Nemotron 3 Nano بدون تعديل. ويعطي فريق البحث ثلاثة أسباب لهذا الاختيار. هذه هي قابلية النشر على الأكوام مثل vLLM، وكفاءة الخدمة، والتحكم العلمي. ونظرًا لأن العمود الفقري ثابت، يصبح Nemotron 3 Nano خطًا أساسيًا مطابقًا للهندسة المعمارية. وصفة البيانات هي الجزء المتحرك الوحيد.