كشف رائد محركات البحث في الصين عن نموذج لغة كبير مفتوح المصدر لمنافسة OpenAI
في فبراير ، قال مؤسس شركة Sogou Wang Xiaochuan على Weibo إن “الصين بحاجة إلى OpenAI الخاصة بها”. يقترب رجل الأعمال الصيني الآن من تحقيق حلمه مع إطلاق شركته الناشئة Baichuan Intelligence من الجيل التالي من نموذج اللغة الكبيرة Baichuan-13B اليوم.
يتم وصف Baichuan كواحد من أكثر مطوري LLM الواعدين في الصين ، وذلك بفضل ماضي مؤسسها باعتباره معجزة في علوم الكمبيوتر من جامعة Tsinghua وتأسيس مزود محرك البحث Sogou ، الذي استحوذت عليه Tencent لاحقًا.
تنحى وانغ عن شركة Sogou في أواخر عام 2021. عندما استحوذت ChatGPT على العالم ، أطلق رائد الأعمال شركة Baichuan في أبريل وسرعان ما حصل على تمويل بقيمة 50 مليون دولار من مجموعة من المستثمرين الملائكة.
مثل LLMs الأخرى المحلية في الصين ، يتم تدريب Baichuan ، وهو نموذج مكون من 13 مليار معلمة يعتمد على بنية المحولات (والذي يدعم أيضًا GPT) ، على البيانات الصينية والإنجليزية. (تشير المعلمات إلى المتغيرات التي يستخدمها النموذج لإنشاء النص وتحليله.) النموذج مفتوح المصدر ومُحسَّن للتطبيق التجاري ، وفقًا لصفحة GitHub الخاصة به.
يتم تدريب Baichuan-13 على 1.4 تريليون توكن. في المقارنة ، Meta LLaMa يستخدم 1 تريليون رمز في نموذج 13 مليار معلمة. قال وانغ سابقًا في مقابلة أن شركته الناشئة كانت في طريقها لإطلاق نموذج واسع النطاق يمكن مقارنته بـ OpenAI’s GPT-3.5 بحلول نهاية هذا العام.
بعد أن بدأت قبل ثلاثة أشهر فقط ، حققت Baichuan بالفعل سرعة ملحوظة في التنمية. بحلول نهاية أبريل ، كان الفريق قد نما إلى 50 شخصًا ، وفي يونيو ، طرح أول LLM ، نموذج ما قبل التدريب Baichuan-7B الذي يضم 7 مليارات معلمة.
الآن ، النموذج التأسيسي Baichuan-13B متاح مجانًا للأكاديميين والمطورين الذين حصلوا على موافقة رسمية لاستخدامه لأغراض تجارية. الأهم من ذلك ، في عصر عقوبات رقائق الذكاء الاصطناعي الأمريكية على الصين ، يقدم النموذج اختلافات يمكن تشغيلها على أجهزة من فئة المستهلك ، بما في ذلك بطاقات الرسوم Nvidia 3090.
ومن بين الشركات الصينية الأخرى التي استثمرت بكثافة في نماذج اللغات الكبيرة شركة محرك البحث العملاقة بايدو ؛ Zhipu.ai ، فرع من جامعة تسينغهوا بقيادة البروفيسور تانغ جي ؛ بالإضافة إلى معهد الأبحاث IDEA بقيادة هاري شوم ، الذي شارك في تأسيس Microsoft Research Asia.
تظهر النماذج اللغوية الكبيرة في الصين بسرعة حيث تستعد البلاد لتنفيذ بعض لوائح الذكاء الاصطناعي الأكثر صرامة في العالم. كما ذكرت صحيفة فاينانشيال تايمز ، من المتوقع أن تضع الصين لوائح للذكاء الاصطناعي التوليدي مع التركيز بشكل خاص على المحتوى ، مما يشير إلى تشديد الرقابة على القواعد التي تم تقديمها في أبريل. قد تحتاج الشركات أيضًا إلى الحصول على ترخيص قبل إطلاق نماذج لغوية كبيرة ، مما قد يبطئ جهود الصين للتنافس مع الولايات المتحدة في الصناعة الناشئة.
