أصدرت Google DeepMind للتو Gemma 4 12B، وهو نموذج كثيف متعدد الوسائط يستبعد أدوات التشفير التقليدية تمامًا. تتدفق الرؤية والصوت مباشرة إلى العمود الفقري لـ LLM. والنتيجة هي نموذج يقوم بتشغيل سير عمل وكيل على جهاز كمبيوتر محمول للمستهلك مزود بذاكرة وصول عشوائي (RAM) تبلغ سعتها 16 جيجابايت. يتم شحنه بموجب ترخيص Apache 2.0.
نظرة عامة على النموذج والوصول إليه
Gemma 4 12B عبارة عن محول فك ترميز ذو 12 مليار معلمة فقط. يتعامل مع النصوص والصور والصوت والفيديو أصلاً. لا توجد برامج تشفير منفصلة للرؤية أو الصوت. يستخدم جهاز فك التشفير نفس هيكل نموذج Gemma 4 31B Dense. إنه يسد الفجوة بين E4B الصديق للحافة ومتغير 26B Mixture of Experts الأكبر.
- بنيان: محول فك تشفير موحد وخالي من التشفير.
- الطرائق: إدخال النص والصورة والفيديو والصوت الأصلي – أول Gemma متوسطة الحجم مزودة بالصوت.
- متطلبات الأجهزة: VRAM بسعة 16 جيجابايت أو الذاكرة الموحدة. يعمل على أجهزة الكمبيوتر المحمولة الاستهلاكية المزودة بوحدة معالجة الرسومات وأجهزة Mac من Apple Silicon.
- رخصة: أباتشي 2.0. الأوزان مفتوحة وقابلة للتنزيل بشكل عام.
- مكدس الاستدلال: متوافق مع llama.cpp، MLX، vLLM، Ollama، SGLang، Unsloth، وLM Studio.
- تحميل: معانقة الوجه وKaggle. متغير التعليمات هو
google/gemma-4-12B-it. - اندماج: Hugging Face Transformers وLiteRT-LM CLI وخادم API محلي متوافق مع OpenAI عبر
litert-lm serve.
تم أيضًا إصدار نموذج مخصص للتنبؤ بالرموز المتعددة (MTP). فهو يقلل من زمن الوصول الاستدلال على الأجهزة المحلية.
الهندسة المعمارية: التصميم الخالي من التشفير
استخدم كل طراز Gemma سابق متوسط الحجم أجهزة تشفير محولات منفصلة للرؤية والصوت. أضافت برامج التشفير هذه زمن الوصول وحمل المعلمات. تحمل نماذج Gemma 4 متوسطة الحجم جهاز تشفير رؤية بمعلمة 550M. يتضمن الطرازان E2B وE4B جهاز تشفير صوتي بمعلمة 300 ميجا. لقد ذهب كل ذلك في 12B.
جهاز تضمين الرؤية (35 مليون معلمة): يتم تقسيم الصور الأولية إلى تصحيحات مقاس 48 × 48 بكسل. يتم عرض كل تصحيح على البعد المخفي لـ LLM بضرب مصفوفة واحدة. لا توجد طبقة الاهتمام. تتم معالجة كل تصحيح بشكل مستقل. يتم إدخال الموضع المكاني باستخدام البحث الإحداثي المُعامل: مصفوفة X المستفادة ومصفوفة Y المستفادة. بالنسبة للتصحيح عند (x, y)، يبحث النموذج عن اثنين من التضمينات المستفادة ويضيفهما لتكوين متجه الموضع. تتم إضافة هذا إلى تضمين التصحيح، متبوعًا بالتطبيع. هذا هو خط أنابيب الرؤية بأكمله.
إسقاط الموجة الصوتية: يتم تقسيم الصوت الخام بمعدل 16 كيلو هرتز إلى إطارات تبلغ 40 مللي ثانية. يحتوي كل إطار على 640 قيمة. يتم إسقاط هذه القيم خطيًا في نفس مساحة التضمين مثل الرموز النصية. لا يوجد استخراج الميزات ولا توجد طبقات مطابقة. يعالج تطبيق Rotary Position Embedding (RoPE) الموجود في LLM التسلسل الزمني أحادي الأبعاد. يستخدم جهاز تشفير الصوت في E2B وE4B 12 طبقة مطابقة. تتم إزالة كل ذلك.
أهمية: تعني مساحة الوزن الموحدة أنك لم تعد تقوم بضبط أجهزة التشفير المجمدة المنفصلة. الضبط الدقيق للأسفل باستخدام LoRA أو الضبط الكامل يقوم بتحديث الرؤية والصوت ومعالجة النص في مسار واحد. Hugging Face Transformers وUnsloth يدعمان هذا بالفعل.
يقلل التصميم الخالي من التشفير من زمن الوصول متعدد الوسائط. يبدأ العمود الفقري لـ LLM بالمعالجة على الفور. لا يجب أن ينتهي أي برنامج تشفير أولاً.
القدرات والأداء
لم ينشر فريق Google DeepMind النتائج المعيارية الكاملة في مواد الإطلاق الأولية. تشير ملاحظات الإصدار الرسمية إلى أن أداء الطراز 12B يقترب من أداء الطراز 26B MoE وفقًا للمعايير القياسية، بأقل من نصف إجمالي مساحة الذاكرة.
تشمل القدرات المثبتة للنموذج ما يلي:
- التعرف التلقائي على الكلام. يقوم بنسخ الصوت بشكل أصلي دون وجود خط أنابيب ASR خارجي.
- المنطق الوكيل. تشغيل مسارات عمل متعددة الخطوات محليًا، مع أداء يقترب من نموذج 26B MoE.
- يوميات. يميز مكبرات الصوت في إدخال الصوت.
- فهم الفيديو. يعالج إطارات الفيديو إلى جانب الصوت. قام العرض التوضيحي بتحليل مقطع رئيسي لـ Google I/O مدته 5 دقائق باستخدام 313 إطارًا بمعدل إطار واحد في الثانية بميزانية رمزية مرئية تبلغ 70 لكل إطار.
- الترميز. تم إنشاء تطبيق معالجة الصور Gradio باستخدام إنشاء التعليمات البرمجية الخاصة به، ويتم تقديمه محليًا باستخدام llama.cpp.
- سير العمل الوكيل متعدد الوسائط. يوفر مستودع Gemma Skills الرسمي على github.com/google-gemma/gemma-skills إمكانات الوكيل المعدة مسبقًا.
في تطبيق Google AI Edge Eloquent الخاص بشركة Google، أدى التحول إلى Gemma 4 12B إلى ما ذكرته Google على أنه قفزة بنسبة 60%+ في الجودة الإجمالية، مع تحسين متابعة التعليمات والالتزام بالنطاق.
الشرح المرئي لـ Marktechpost
– أبحاث الذكاء الاصطناعي وإصدارات النماذج وأدوات المطورين لأكثر من مليون ممارس.
marktechpost.com
الوجبات السريعة الرئيسية
- أصدرت Google DeepMind Gemma 4 12B، وهو نموذج متعدد الوسائط كثيف خالٍ من التشفير بموجب ترخيص Apache 2.0.
- يتم تغذية الرؤية والصوت مباشرة في العمود الفقري لـ LLM – لا توجد أجهزة تشفير منفصلة للرؤية (550 مليونًا) أو الصوت (300 مليونًا).
- يستخدم جهاز تضمين الرؤية 35M بحثًا واحدًا عن موضع X/Y بالإضافة إلى عامل ماتمول؛ مشاريع الصوت إطارات خام 16 كيلو هرتز مباشرة.
- إنها أول Gemma متوسطة الحجم مزودة بصوت أصلي وتضيف فيديو، وتعمل على كمبيوتر محمول بسعة 16 جيجابايت.
- يقترب الأداء المعياري من طراز 26B MoE بأقل من نصف مساحة الذاكرة.
تحقق من الأوزان النموذجية و التفاصيل الفنية. أيضا، لا تتردد في متابعتنا على تغريد ولا تنسى الانضمام إلينا 150 ألف+ مل من SubReddit والاشتراك في النشرة الإخبارية لدينا. انتظر! هل أنت على برقية؟ الآن يمكنك الانضمام إلينا على التليجرام أيضًا.
هل تحتاج إلى الشراكة معنا للترويج لصفحة GitHub Repo أو صفحة الوجه المعانقة أو إصدار المنتج أو الندوة عبر الويب وما إلى ذلك؟ تواصل معنا
اكتشاف المزيد من كحيل | أخبار التقنية
اشترك للحصول على أحدث التدوينات المرسلة إلى بريدك الإلكتروني.
