يُطلق الذكاء الاصطناعي من Google DiffusionGemma، وهو نموذج مفتوح لوزارة التربية والتعليم يبلغ 26 مليارًا يستخدم نشر النص لتوليد أسرع بما يصل إلى 4x

أصدر فريق Google AI بما في ذلك باحثو Google DeepMind للتو DiffusionGemma، وهو نموذج تجريبي مفتوح لإنشاء النص. يستخدم نشر النص بدلاً من فك تشفير الانحدار التلقائي القياسي. يتم شحن النموذج بموجب ترخيص Apache 2.0 المسموح به. تضعه Google أمام المطورين والباحثين الذين يستكشفون مسارات العمل المحلية التفاعلية ذات السرعة الحرجة. تتضمن الأمثلة التحرير المباشر، والتكرار السريع، وإنشاء هياكل نصية غير خطية.

معظم نماذج اللغة المستخدمة اليوم هي نماذج انحدار ذاتي. يقومون بإنشاء رمز مميز واحد في كل مرة، من اليسار إلى اليمين. يعتمد كل رمز مميز جديد على الرمز المميز الذي يسبقه. يعمل DiffusionGemma بشكل مختلف. فهو يولد كتل كاملة من النص في وقت واحد، بالتوازي. على وحدات معالجة الرسومات المخصصة، يوفر ذلك جيلًا أسرع بما يصل إلى 4x.

ما هو ديفيوجنجيما

DiffusionGemma هو نموذج 26B خليط من الخبراء (MoE). يقوم بتنشيط 3.8B فقط من المعلمات أثناء الاستدلال. إنه مبني على العمود الفقري Gemma 4، وتحديداً بنية 26B-A4B. قامت Google بدمج رأس الانتشار في تلك القاعدة.

النموذج متعدد الوسائط. يقوم بمعالجة مدخلات النص والصور والفيديو المشذرة. يقوم بإنشاء مخرجات نصية من تلك المدخلات. تحتوي نافذة السياق على 256 ألف رمز، وتدعم أكثر من 140 لغة.

من الناحية الكمية، يتناسب النموذج مع 18 جيجابايت من VRAM. وهذا يضعها ضمن حدود وحدة معالجة الرسومات الاستهلاكية المتطورة. على جهاز NVIDIA H100 واحد، يصل إلى أكثر من 1000 رمز في الثانية. على NVIDIA GeForce RTX 5090، يصل إلى أكثر من 700 رمزًا في الثانية.

جوجل صريحة للغاية بشأن المقايضة. يعطي DiffusionGemma الأولوية للسرعة وإنشاء التخطيط المتوازي. جودة الإخراج الإجمالية أقل من Gemma 4 القياسية. للحصول على أقصى قدر من الجودة في أعمال الإنتاج، لا تزال Google توصي باستخدام Gemma 4 بالانحدار التلقائي.

كيف يعمل نشر النص

يستعير نشر النص فكرته الأساسية من مولدات الصور التي تعمل بالذكاء الاصطناعي. تبدأ هذه النماذج بالثبات البصري ثم تقوم بتحسينه بشكل متكرر. يطبق DiffusionGemma نفس النمط على إنشاء النص.

تتم العملية في ثلاث مراحل مفاهيمية. أولاً، يبدأ النموذج بلوحة من الرموز المميزة للعناصر النائبة العشوائية. ثانيًا، يقوم بتمريرات متعددة على تلك اللوحة القماشية. يقوم بتأمين الرموز المميزة عالية الثقة ويستخدمها كسياق. ثالثا، يتقارب النص في الناتج النهائي.

تطلق جوجل على الآلية الأساسية نشر الحالة الموحدة. تساعد الرموز المميزة ذات الثقة العالية في حل المواضع المجاورة أثناء تقليل الضوضاء. يتم بعد ذلك التركيز على التسلسل الكامل عبر عدة تمريرات.

من الناحية العملية، يقوم النموذج بتشويش لوحة قماشية مكونة من 256 رمزًا بالتوازي. يقوم بإنهاء ما يقرب من 15-20 رمزًا لكل تمريرة أمامية. هذا التوازي هو ما يدفع مكاسب الإنتاجية.

يستخدم النموذج الاهتمام ثنائي الاتجاه أثناء تقليل الضوضاء. يمكن لكل رمز مميز على القماش أن يعتني بكل رمز مميز آخر. ويعد هذا خروجًا حادًا عن نماذج الانحدار الذاتي. يمكن لهذه النماذج أن تنظر إلى الوراء فقط إلى الرموز المميزة السابقة.

يتيح هذا السياق ثنائي الاتجاه التصحيح الذاتي في الوقت الفعلي. إذا انخفضت ثقة الرمز المميز، فيمكن لأخذ العينات إعادة تشويشه. ثم يستبدل النموذج هذا الرمز المميز في تمريرة لاحقة. لا تستطيع نماذج الانحدار التلقائي القيام بذلك، لأنها تلتزم بكل رمز مميز مرة واحدة.

العمارة

التقدم التقني هنا هو استخدام الأجهزة. بالنسبة للاستدلال GPU المحلي، فإن عنق الزجاجة الرئيسي هو عرض النطاق الترددي للذاكرة. تقوم نماذج الانحدار التلقائي بتحميل الأوزان بشكل متكرر من الذاكرة لكل رمز مميز. أثناء تقديم الخدمة لمستخدم واحد، تقضي وحدة معالجة الرسومات معظم الوقت في الانتظار.

يعمل DiffusionGemma على تحويل عنق الزجاجة من عرض النطاق الترددي للذاكرة إلى الحساب. يقوم بصياغة وتحسين لوحة قماشية مكونة من 256 رمزًا بالتوازي. وهذا يعطي النوى الموترية الخاملة عبء عمل متوازيًا كبيرًا.

يتناوب النموذج بين وضعين للانتباه أثناء الاستدلال. تستخدم عملية التعبئة المسبقة الاهتمام السببي لاستيعاب الموجه وكتابة ذاكرة التخزين المؤقت لـ KV. يستخدم تقليل الضوضاء اهتمامًا ثنائي الاتجاه لتحسين اللوحة القماشية.

بالنسبة للمخرجات الأطول، يستخدم DiffusionGemma تقنية Block Autoregressive Diffusion. بمجرد إزالة الضوضاء من الكتلة المكونة من 256 رمزًا مميزًا، فإنها تلتزم بذاكرة التخزين المؤقت KV. يبدأ النموذج بعد ذلك بلوحة قماشية جديدة مشروطة بالتاريخ السابق. هذا يجمع بين سرعة الكتلة المتوازية واستقرار الانحدار الذاتي المتسلسل.

تشترك البنية في نفس العمود الفقري لـ Gemma 4 26B A4B. يحتاج المطورون بشكل أساسي إلى تنفيذ خطوة تقليل الضوضاء. وهذا يجعل التكامل في أطر الخدمة الحالية أسهل.

ومن الأمثلة الواضحة على ذلك عرض Sudoku من دليل مطوري Google. تكافح نماذج الانحدار الذاتي مع ألغاز مقيدة صارمة ومتعددة المتغيرات. نموذج DiffusionGemma الأساسي يحل ما يقرب من 0% من ألغاز Sudoku. بعد وصفة ضبط دقيقة بسيطة تحت إشراف JAX، ترتفع الصحة إلى 80%. ويتوقف النموذج المضبوط جيدًا أيضًا مبكرًا، مما يؤدي إلى قطع خطوات الاستدلال.

العرض التوضيحي التفاعلي: كيف تقوم DiffusionGemma بفك التشفير بالتوازي

يوضح المتخيل التفاعلي أدناه كيفية قيام DiffusionGemma بفك تشفير النص، على النقيض من نموذج الانحدار التلقائي القياسي. قم بالتبديل بين الوضعين ثم اضغط على Run. في الانحدار الذاتي في الوضع، يتم ملء الرموز المميزة واحدًا تلو الآخر، من اليسار إلى اليمين تمامًا، مع تمرير تمريرة واحدة للأمام لكل رمز مميز – وهي الطريقة التي ينشئها معظم حاملي شهادات LLM اليوم. في انتشار في الوضع، يبدأ النموذج من لوحة من الرموز النائبة المقنعة ويحل العديد منها بالتوازي مع كل تمريرة، بدون ترتيب ثابت، ويتقارب في تمريرات أقل بكثير. يُظهر الرسم المتحرك أيضًا خطوة قصيرة لإعادة التشويش، حيث تتم إعادة تعيين رمز مميز منخفض الثقة وتحسينه مرة أخرى – وهو بديل للتصحيح الذاتي للنموذج الحقيقي، وهو ما لا يمكن لفك التشفير الانحداري القيام به بمجرد الالتزام بالرمز المميز. لاحظ أن هذه رسوم متحركة مفاهيمية، وليست مخرجات نموذجية مباشرة: تقوم DiffusionGemma الحقيقية بحل لوحة قماشية مكونة من 256 رمزًا وتضع اللمسات الأخيرة على ما يقرب من 15-20 رمزًا لكل تمريرة أمامية.

حالات الاستخدام

يستهدف DiffusionGemma أعباء عمل محددة، وليس جودة الإنتاج العامة. تسلط Google وشركاء النظام البيئي الضوء على العديد من التطبيقات العملية:

• التحرير المباشر وملء التعليمات البرمجية: يناسب الاهتمام ثنائي الاتجاه هياكل النص غير الخطية جيدًا.
• التكرار السريع: يدعم زمن الوصول المحلي المنخفض حلقات المطور التفاعلية لمستخدم واحد.
• تحليل وثيقة السياق الطويل: تدعم نافذة 256K معالجة المدخلات الكبيرة.
• التعرف الضوئي على الحروف وتحليل المستندات: يتعامل الإدخال المتعدد الوسائط مع الصور والمستندات الممسوحة ضوئيًا.
• إنشاء التعليمات البرمجية واستدعاء الأدوات وسير عمل الوكيل: يسرد Unsloth هذه المهام كمهام مدعومة.
• جيل مقيد: تستفيد سودوكو والرسوم البيانية الرياضية وتسلسلات الأحماض الأمينية من الاهتمام الموازي.

تحذير واحد يشكل كل هذه. تم تصميم التسريع للاستدلال المحلي منخفض التزامن. في الخدمة السحابية ذات جودة QPS العالية، تعمل نماذج الانحدار التلقائي على تشبع الحوسبة بكفاءة. هناك، يوفر فك التشفير الموازي عوائد متناقصة ويمكن أن يؤدي إلى رفع تكاليف الخدمة.

ديفيوجن جيما ضد ستاندرد جيما 4

الوجبات السريعة الرئيسية

• DiffusionGemma هو نموذج مفتوح 26B MoE (3.8B نشط) يقوم بإنشاء نص عبر النشر المتوازي، وليس رمزًا تلو الآخر.
• يعمل بشكل أسرع بما يصل إلى 4x على وحدات معالجة الرسومات المخصصة: أكثر من 1000 رمز مميز/ثانية على H100، و700+ على RTX 5090.
• يتيح الاهتمام ثنائي الاتجاه على لوحة مكونة من 256 رمزًا إمكانية التصحيح الذاتي في الوقت الفعلي، على عكس نماذج الانحدار الذاتي.
• وهي تتناسب مع ذاكرة VRAM بسعة 18 جيجابايت مع دعم اليوم صفر في vLLM وTransformers وMLX وUnsloth.
• إنها تجريبية وأقل جودة من لعبة Gemma 4 القياسية؛ توصي Google بإنتاج Gemma 4.

الشرح المرئي لـ Marktechpost

تحقق من الأوزان النموذجية و التفاصيل الفنية. لقد أنشأنا أيضًا عرض توضيحي قصير لهذه الورقة البحثية. أيضا، لا تتردد في متابعتنا على تغريد ولا تنسى الانضمام إلينا 150 ألف+ مل من SubReddit والاشتراك في النشرة الإخبارية لدينا. انتظر! هل أنت على برقية؟ الآن يمكنك الانضمام إلينا على التليجرام أيضًا.

هل تحتاج إلى الشراكة معنا للترويج لصفحة GitHub Repo أو صفحة الوجه المعانقة أو إصدار المنتج أو الندوة عبر الويب وما إلى ذلك؟ تواصل معنا