تعرف على “North Mini Code”: نموذج Cohere’s 30B ذو الوزن المفتوح لمزيج الخبراء مع المعلمات النشطة 3B للترميز الوكيل

هذا الأسبوع، قام فريق Cohere AI بشحن أول نموذج ترميز يواجه المطورين يسمى “North Mini Code”. “North Mini Code” ذو وزن مفتوح ويركز على مهندسي البرمجيات. إنه نموذج خليط من الخبراء (MoE) مع إجمالي 30B من المعلمات. يتم تنشيط 3B فقط من هذه المعلمات لكل رمز مميز.

يتمحور الإصدار حول الذكاء الاصطناعي “السيادي”. الفكرة بسيطة: قم بتشغيل النماذج القادرة وفقًا لشروطك الخاصة. تتيح نماذج الترميز الصغيرة والفعالة للفرق إمكانية الاستضافة الذاتية دون الحاجة إلى مجموعات كبيرة من وحدات معالجة الرسومات. يستهدف North Mini Code تلك الفجوة بشكل مباشر.

شمال ميني كود

North Mini Code هو نموذج معلمة 30B-A3B. يرمز A3B إلى ثلاثة مليارات معلمة نشطة لكل تمريرة أمامية. قام Cohere بتحسينه من أجل ثلاث وظائف: توليد التعليمات البرمجية، وهندسة البرمجيات الوكيلة، والمهام الطرفية. النموذج هو إدخال النص وإخراج النص. لا يوجد إدخال صورة أو فيديو.

نافذة السياق هي 256 ألف رمز مميز. الحد الأقصى لطول الإخراج هو 64 كيلو بايت. يسرد Cohere الحد الأدنى لشريط الأجهزة وهو H100 عند FP8. يتم شحن الأوزان ضمن Apache 2.0 على Hugging Face. يمكنك أيضًا الوصول إليه من خلال Cohere API وModel Vault وOpenRouter.

العمارة

North Mini Code عبارة عن محول لوحدة فك التشفير فقط مع طبقات MoE متفرقة. يتداخل اهتمامها مع نوعين بنسبة 3:1. يستخدم انتباه النافذة المنزلقة حبلًا للمواقف. لا يستخدم الاهتمام العالمي أي تضمينات موضعية على الإطلاق. تضم كتلة التغذية الأمامية 128 خبيرًا. يتم تنشيط ثمانية خبراء لكل رمز مميز. كل خبير هو FFN مع تفعيل SwiGLU.

يطبق جهاز التوجيه السيني قبل تحديد top-k. توجد طبقة كثيفة واحدة قبل الطبقات المتناثرة. يحافظ هذا المزيج على صغر حجم الحوسبة النشطة مع توسيع السعة الإجمالية. أصدر Cohere الأوزان في BF16.

تم تنفيذ ما بعد التدريب على مرحلتين. في البداية جاء الضبط الدقيق المتتالي تحت الإشراف (SFT) على مرحلتين. ثم جاء التعلم المعزز بمكافآت يمكن التحقق منها (RLVR). ركز التدريب اللاحق على الترميز الوكيل. يدعم النموذج أيضًا التفكير المشذر واستخدام الأدوات الأصلية.

المعايير

سجلت Cohere 33.4 في مؤشر ترميز التحليل الاصطناعي. ويصف هذا بأنه موقع تنافسي بين النماذج ذات الحجم المماثل. تم تقييم الشركة على SWE-Bench Verified وSWE-Bench Pro وTerminal-Bench v2. كما أنها تستخدم Terminal-Bench Hard وSciCode وLiveCodeBench v6.

المنهجية محددة. استخدم SWE-Bench الإصدار 1.1.0 من أداة SWE-agent. استخدم Terminal-Bench v2 أداة ReAct بسيطة مع أداة طرفية واحدة. استخدم Terminal-Bench Hard حزام Terminus-2. تم تشغيل كل معيار بثلاث بذور، ثم تم المتوسط. أخذ العينات درجة الحرارة المستخدمة 1.0 وtop_p 0.95.

السرعة

في اختبارات Cohere الداخلية، وصل North Mini Code إلى إنتاجية أعلى بمقدار 2.8 مرة. التي عقدت في نفس التزامن والأجهزة. كما أظهر أيضًا ميزة بنسبة 30٪ في زمن الوصول بين الرموز المميزة. كان وقت ظهور الرمز الأول أقرب بين الاثنين. حافظ Devstral Small 2 على تقدم طفيف في TTFT.

استخدام الحالات مع الأمثلة

قامت Cohere ببناء North Mini Code لسير العمل الوكيل.

تبرز ثلاثة أنماط في إطارها الخاص:

• تنسيق الوكيل الفرعي: يقوم الوكيل الرئيسي بتفويض المهام الفرعية إلى المساعدين. على سبيل المثال: يقوم أحد الوكلاء بكتابة اختبارات الوحدة بينما يقوم وكيل آخر بإصلاح التعليمات البرمجية الفاشلة.
• رسم خرائط بنية النظم: يقرأ النموذج المستودع ويرسم هيكله. مثال: تتبع كيفية اتصال الخدمات ببعضها البعض قبل إعادة بناء كبيرة.
• مراجعات الكود: يقوم النموذج بمسح الاختلاف بحثًا عن المشاكل. مثال: وضع علامة على مرجعية فارغة غير محمية قبل الدمج.

المهام الطرفية تناسب النموذج أيضًا. على سبيل المثال: سرد الملفات، وتشغيل الإنشاء، ثم تحليل المخرجات بحثًا عن الأخطاء.

ابدء

أسرع طريق هو معانقة محولات الوجه. تثبيت المحولات من المصدر لهذا النموذج. أخذ العينات الموصى بها هي درجة الحرارة 1.0 وtop_p 0.95.

# Install Transformers from source (required for this model):
# pip install "git+https://github.com/huggingface/transformers.git"
from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "CohereLabs/North-Mini-Code-1.0"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto")

prompt = "Write a python program to check if a string is a palindrome or not."
messages = [{"role": "user", "content": prompt}]

# return_dict=True yields a dict (input_ids + attention_mask) so **inputs unpacks cleanly
inputs = tokenizer.apply_chat_template(
    messages,
    tokenize=True,
    add_generation_prompt=True,
    return_dict=True,
    return_tensors="pt",
).to(model.device)

gen_tokens = model.generate(
    **inputs,
    max_new_tokens=1024,
    do_sample=True,
    temperature=1.0,
    top_p=0.95,
)

# Decode only the newly generated tokens, not the prompt
output = tokenizer.decode(gen_tokens[0][inputs["input_ids"].shape[-1]:])
print(output)

للخدمة، يعمل vLLM. أنت بحاجة إلى مكتبة الألحان vLLM main plus Cohere. يعتمد تحليل الاستجابة الدقيق على ذلك.

uv pip install "git+https://github.com/vllm-project/vllm.git"
uv pip install "cohere_melody>=0.9.0"

vllm serve CohereLabs/North-Mini-Code-1.0 \
  -tp 2 \
  --max-model-len 320000 \
  --tool-call-parser cohere_command4 \
  --reasoning-parser cohere_command4 \
  --enable-auto-tool-choice

توجد إصدارات كمية لـ Ollama وLM Studio وllama.cpp. يمكنك أيضًا تجربة النموذج قبل التنزيل. يوفر Cohere الوصول المجاني من خلال OpenCode ومساحة Hugging Face Space المستضافة.

الوجبات السريعة الرئيسية

• نموذج الترميز الأول لشركة Cohere، North Mini Code، عبارة عن مزيج من 30 مليار من الخبراء يقوم بتنشيط 3B فقط من المعلمات لكل رمز مميز.
• يتم تشغيله على H100 واحد عند FP8، مع سياق 256 كيلو بايت وإخراج 64 كيلو بايت كحد أقصى.
• يتم شحن الأوزان ضمن Apache 2.0، على الرغم من أن بطاقة Hugging Face تضيف ملاحظة غير تجارية.
• يشير الإصدار الرسمي لشركة Cohere إلى 33.4 على مؤشر ترميز التحليل الاصطناعي، وما يصل إلى 2.8x من الإنتاجية مقارنة بـ Devstral Small 2.
• تم تصميمه خصيصًا للترميز الوكيل — تنسيق الوكيل الفرعي، ورسم خرائط البنية، ومراجعات التعليمات البرمجية باستخدام الأدوات الأصلية

الشرح التفاعلي لـ Marktechpost

# Install Transformers from source, then:
from transformers import AutoTokenizer, AutoModelForCausalLM

mid = "CohereLabs/North-Mini-Code-1.0"
tok = AutoTokenizer.from_pretrained(mid)
model = AutoModelForCausalLM.from_pretrained(mid, device_map="auto")

msgs = [{"role": "user", "content": "Write a Python palindrome checker."}]
inputs = tok.apply_chat_template(
    msgs, add_generation_prompt=True,
    return_dict=True, return_tensors="pt",
).to(model.device)

out = model.generate(**inputs, max_new_tokens=1024,
                     do_sample=True, temperature=1.0, top_p=0.95)
print(tok.decode(out[0][inputs["input_ids"].shape[-1]:]))

تحقق من الأوزان النموذجية و التفاصيل الفنية. أيضا، لا تتردد في متابعتنا على تغريد ولا تنسى الانضمام إلينا 150 ألف+ مل من SubReddit والاشتراك في النشرة الإخبارية لدينا. انتظر! هل أنت على برقية؟ الآن يمكنك الانضمام إلينا على التليجرام أيضًا.

هل تحتاج إلى الشراكة معنا للترويج لصفحة GitHub Repo أو صفحة الوجه المعانقة أو إصدار المنتج أو الندوة عبر الويب وما إلى ذلك؟ تواصل معنا