Zyphra تطلق Zamba2-VL: Hybrid Mamba2 – نماذج لغة الرؤية المحولة التي تقلل الوقت حتى أول رمز مميز بحوالي ترتيب من الحجم

أصدرت Zyphra Zamba2-VL، وهي عائلة من نماذج لغة الرؤية المفتوحة. يغطي الإصدار ثلاثة أحجام: معلمات 1.2B و2.7B و7B. تم بناء كل طراز على العمود الفقري الهجين Zamba2 SSM-Transformer.

تقوم نماذج لغة الرؤية (VLMs) بقراءة الصور والنصوص معًا. يجيبون على الأسئلة حول المخططات والمستندات والصور. تستخدم معظم VLMs المفتوحة محولًا كثيفًا كنموذج اللغة. يستبدل Zamba2-VL ذلك بتصميم مساحة الحالة الهجين. الهدف هو الدقة التنافسية عند زمن وصول أقل.

ما هو Zamba2-VL

يتبع Zamba2-VL قالب VLM بنمط LLaVA القياسي الآن. يقوم برنامج تشفير الرؤية المُدرب مسبقًا بتحويل تصحيحات الصورة إلى ميزات. يقوم محول MLP خفيف الوزن بعرض هذه الميزات في مساحة نموذج اللغة. يقرأ نموذج اللغة بعد ذلك تسلسلاً مشذرًا من رموز الرؤية والنص. تدعم النماذج فهم وتأريض الصور الفردية والمتعددة.

تقوم Zyphra بربط كل العمود الفقري لـZamba2 مع Vision Transformer من Qwen2.5-VL. تم اختيار هذا التشفير لخاصيتين محددتين. ويستخدم تضمينات الموضع الدوارة ثنائية الأبعاد ومعالجة الدقة الديناميكية الأصلية. يقوم محول MLP ثنائي الطبقة بتوصيل جهاز التشفير بالعمود الفقري.

العمارة

العمود الفقري لـ Zamba2 هو المكان الذي يختلف فيه التصميم عن أجهزة VLM النموذجية. إنه مزيج من طبقات مساحة الحالة Mamba2 وكتل المحولات المشتركة. تعمل طبقات Mamba2 في وقت خطي بحالة ذات حجم ثابت. يتم تشذير عدد صغير من طبقات الاهتمام المشتركة بينها. تحمل كل كتلة مشتركة محول LoRA فريدًا في كل طبقة.

تحمل طبقات Mamba2 الجزء الأكبر من العمليات الحسابية بتكلفة زهيدة. تحافظ طبقات الاهتمام المشتركة على الاسترجاع في السياق الذي تتخلى عنه نماذج SSM الخالصة. يتاجر الهجين بالتعبير الكامل الاهتمام مقابل كفاءة مساحة الدولة.

يستخدم Zamba2-VL رمز Mistral v0.1. تم تدريبه على 100 مليار رمز من نص الرؤية وبيانات النص الخالص. تم الحصول على هذه البيانات من مجموعات بيانات الويب المفتوحة.

جودة النموذج والمعايير

قام فريق البحث بتقييم Zamba2-VL عبر 14 معيارًا. هذه المخططات الممتدة والمخططات وفهم المستندات. كما أنها تغطي أيضًا الإدراك العام والاستدلال والعد البصري. تأتي جميع النتائج من أدوات التقييم الخاصة بـ Zyphra، والتي تعتمد على VLMEvalKit. يقارن التقرير مع عائلات Molmo2، وQwen3-VL، وInternVL3.5.

InternVL3.5-2B وQwen3-VL-2B متشابهان في الحجم. Molmo2-4B وQwen3-VL-4B أكبر.

النمط غير متساوي ويستحق الفهم. العد هو أقوى فئة. أبلغت Zyphra عن Zamba2-VL-1.2B عند 62.5 على PixMoCount. ويقارن ذلك بـ 32.8 لـ InternVL3.5-1B و17.7 لـ PerceptionLM-1B. يستمر فهم المستندات أيضًا، حيث يصل DocVQA إلى 90.9 للنموذج 2.7B. يتخلف هذا النموذج عن خطوط الأساس الأكبر فيما يتعلق بالاستدلال المعتمد على المعرفة الثقيلة، مثل MMMU وMathVista.

لماذا الاستدلال أسرع

الاستدلال هو المكان الذي يُظهر فيه Zamba2-VL ميزته الرئيسية. يتدرج انتباه المحول بشكل تربيعي مع طول التسلسل. تعمل المدخلات متعددة الوسائط على جعل التسلسلات طويلة بسرعة كبيرة. يمكن لصورة واحدة عالية الدقة أن تضيف عدة آلاف من رموز الرؤية. يمكن لمقطع فيديو قصير أن ينتج عشرات الآلاف من الرموز المميزة.

يتجنب Zamba2-VL ذاكرة التخزين المؤقت KV المتزايدة للاهتمام. إنه يرث التعبئة المسبقة للوقت القريب من الخطي وحالة متكررة ذات حجم ثابت. عند التعبئة المسبقة بـ 32 ألف رمز، فإنها تتقدم في مخطط النتيجة مقابل TTFT. لم يتطابق أي محول VLM في المقارنة مع درجاته في زمن الوصول المماثل. فجوة الكمون هي على الأقل ترتيب من حيث الحجم.

تكون ميزة الكفاءة أكبر عند مقياسي 1.2B و2.7B. هذا هو النطاق المستهدف للنشر على الجهاز وعلى الحافة.

استخدام الحالات مع الأمثلة

والسؤال العملي هو أين يناسب هذا؟ يستفيد استخراج المستندات والنماذج من نتائج DocVQA القوية. فكر في تحليل الفاتورة أو رقمنة الإيصالات على نطاق واسع. يتم تعيين خرائط عد البيع بالتجزئة والمخزون لنقاط القوة في PixMoCount وCountBenchQA. يتيح دعم التأريض الإشارة إلى الكائنات الموجودة في المنتج أو صور واجهة المستخدم. يستفيد المساعدون الموجودون على الجهاز من انخفاض الوقت اللازم لأول رمز مميز. يستهدف الطراز 1.2B الهواتف والصناديق الطرفية. تحقق المدخلات المرئية الطويلة، مثل ملفات PDF متعددة الصفحات، أقصى استفادة من التعبئة المسبقة للوقت الخطي.

ابدء

النماذج الثلاثة موجودة في مجموعة Zyphra Zamba2-VL على Hugging Face. الاستدلال يمر عبر Zyphra transformers شوكة، على أساس transformers v4.57.1. تحتاج نواة Mamba2 المحسنة إلى وحدة معالجة الرسومات CUDA للحصول على زمن استجابة جيد.

تثبيت الشوكة وتبعياتها الأساسية:

pip install "transformers @ git+https://github.com/Zyphra/transformers.git@zamba2-vl"
pip install qwen-vl-utils==0.0.2
pip install flash_attn

تحتاج نواة Mamba2 المحسنة إلى حزمتين إضافيتين:

pip install --no-build-isolation "causal-conv1d @ git+https://github.com/Zyphra/z-causal-conv1d.git@zamba2-vl"
pip install --no-build-isolation "mamba-ssm @ git+https://github.com/Zyphra/mamba.git@zamba2-vl"

ثم قم بتحميل النموذج وقم بتشغيل استعلام صورة واحدة:

from transformers import Zamba2_VLForConditionalGeneration, Zamba2_VLProcessor
import torch
from PIL import Image
from qwen_vl_utils import process_vision_info
import requests

device = "cuda"
processor = Zamba2_VLProcessor.from_pretrained("Zyphra/Zamba2-VL-2.7B", temporal_patch_size=1)
model = Zamba2_VLForConditionalGeneration.from_pretrained(
    "Zyphra/Zamba2-VL-2.7B",
    device_map=device,
    torch_dtype=torch.bfloat16,
    attn_implementation="flash_attention_2",
)

url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)
question = "What do you see in the image? Give us some detail."
num_img_tokens = 3400

conversation = [
    {"role": "user", "content": [
        {"type": "image", "image": image,
         "max_pixels": num_img_tokens * 28 * 28, "min_pixels": 10 * 28 * 28},
        {"type": "text", "text": question},
    ]},
]
prompt = processor.apply_chat_template(conversation, add_generation_prompt=True)
images, _ = process_vision_info(conversation)
inputs = processor(text=prompt, images=images, add_special_tokens=True, return_tensors="pt")
inputs = {key: value.to(device) for key, value in inputs.items()}

outputs = model.generate(**inputs, max_new_tokens=100)
print(processor.tokenizer.decode(outputs[0][inputs["input_ids"].shape[-1]:]))

قم بتبديل معرف النموذج بـ Zamba2-VL-1.2B أو Zamba2-VL-7B لتغيير الحجم.

نقاط القوة والضعف

نقاط القوة:

• أول عائلة VLM مفتوحة على SSM-Transformer LLM الهجين المفتوح بالكامل، لكل Zyphra.
• حول ترتيب من حيث الحجم، يكون الوقت اللازم للوصول إلى الرمز الأول أقل من الخطوط الأساسية للمحولات المماثلة.
• العد البصري القوي وفهم المستندات التنافسية.
• تغطي ثلاثة أحجام النشر من الفئة الحافة والمتوسطة و7B.
• ترخيص Apache 2.0 مع الأوزان العامة ورمز الاستدلال العملي.

نقاط الضعف والتحديات:

• تم إصداره باعتباره قطعة أثرية بحثية.
• تتأخر النماذج الأكبر في التفكير المعرفي مثل MMMU وMathVista.
• انخفاض OCRBench عن Qwen3-VL وInternVL3.5 بنفس الحجم.
• تحتاج النوى المحسنة إلى وحدة معالجة الرسومات CUDA؛ مسارات وحدة المعالجة المركزية بطيئة.
• يتطلب النشر استضافة ذاتية من الكود الذي تم إصداره.

الوجبات السريعة الرئيسية

• يتم شحن Zamba2-VL بمعلمات 1.2B و2.7B و7B ضمن Apache 2.0.
• يقوم العمود الفقري بربط طبقات مساحة الحالة Mamba2 مع عدد قليل من كتل المحولات المشتركة.
• ينخفض ​​وقت ظهور الرمز المميز الأول بحوالي ترتيب من حيث الحجم مقابل محولات VLM القابلة للمقارنة.
• يعد العد وفهم المستندات من نقاط القوة؛ تأخر استدلال المعرفة.
• الأوزان وكود الاستدلال العملي متاحان للعامة على Hugging Face وGitHub.

الشرح التفاعلي لـ Marktechpost

تحقق من ورق, جيثب الريبو، الأوزان النموذجيةÂ و§ التفاصيل الفنية أيضًا، لا تتردد في متابعتنا على تغريدÂ ولا تنسى الانضمام إلينا 150 ألف+ مل من SubReddit§ والاشتراك في النشرة الإخبارية لدينا. انتظر! هل أنت على برقية؟ الآن يمكنك الانضمام إلينا على التليجرام أيضًا.

هل تحتاج إلى الشراكة معنا للترويج لصفحة GitHub Repo أو صفحة الوجه المعانقة أو إصدار المنتج أو الندوة عبر الويب وما إلى ذلك؟ تواصل معنا