NVIDIA AI تطلق Nemotron 3 Embed: مجموعة التضمين المفتوحة التي تحتل نقطة تفتيش 8B فيها المرتبة الأولى على RTEB

تحدد نماذج التضمين المقاطع التي يراها الوكيل على الإطلاق. صدرت نفيديا نيموترون 3 تضمين النموذج للعمل على تلك الطبقة. وهو يستهدف RAG على نطاق الإنتاج، واسترجاع الوكيل، واسترجاع التعليمات البرمجية، وذاكرة الوكيل.

ما هو نيموترون 3 تضمين؟

تتضمن المجموعة النموذجية ثلاث نقاط تفتيش مفتوحة. Nemotron-3-Embed-8B-BF16 هو الخيار الدقة الأولى. Nemotron-3-Embed-1B-BF16 يحمل نفس التصميم في مساحة أصغر. Nemotron-3-Embed-1B-NVFP4 هو المسار 4 بت الأمثل لبلاكويل.

الثلاثة جميعهم عبارة عن أجهزة تشفير محولات تم تدريبهم عليها إخفاء الاهتمام ثنائي الاتجاه. التضمين النهائي يأتي من متوسط ​​التجميع على التمثيلات على مستوى الرمز المميز. الحد الأقصى لطول التسلسل هو 32,768 رمزًا في كل نقطة تفتيش.

تم تقييم كل نموذج عبر 34 لغة. الثلاثة يحملون اتفاقية ترخيص OpenMDW، الإصدار 1.1 (OpenMDW-1.1). والجدير بالذكر أن القواعد هي نماذج ميسترال. تم بناء 8B مع Ministral-3-8B-Instruct-2512. يستخدم كلا الخيارين 1B Ministral-3-3B-Instruct-2512.

أداء

Nemotron-3-Embed-8B-BF16 صفوف رقم 1 بشكل عام على RTEB (اعتبارًا من 17 يوليو 2026)، معيار تضمين الاسترجاع. يغطي التقييم مهامه العامة الستة عشر. كل رقم أدناه هو متوسط ​​NDCG@10، عند طول تسلسل النموذج 4096.

تجدر الإشارة إلى فجوتين. يكسب 1B 10.4 نقطة RTEB llama-nemotron-embed-vl-1b-v2، خط الأساس للجيل السابق. بشكل منفصل، تبلغ تكلفة NVFP4 0.38 نقطة RTEB مقابل الأصل BF16، أو الاحتفاظ بنسبة 99.5%.

كيف تم بناء نموذج 1B؟

تأتي درجات 1B هذه من خط أنابيب الضغط، وليس من تدريب أصغر. كان الوالد nemotron-3-embed-3b، مشذبة ومقطرة عبر جولتين متكررتين.

أولاً، تم تقليم الوالد 3B إلى 2B باستخدام NVIDIA ModelOpt mcore_minitron البحث في البنية العصبية (NAS). يغطي البحث العرض المخفي وحجم FFN ورؤوس الانتباه والعمق. ثم يختار أفضل مرشح من قائمة العشرة الأوائل في جبهة باريتو. سجلت مجموعة المعايرة في المجال 50 ألفًا هؤلاء المرشحين.

بعد ذلك، تم استخلاص نموذج 2B من معلم التضمين 8B المضبوط بدقة. التقطير مجتمعة فقدان مسافة جيب التمام (COS) و متوسط ​​الخطأ التربيعي (MSE) خسارة. كان مزيج البيانات متعدد اللغات وفي المجال. وأخيرًا، تم تكرار نفس الإجراء لإنتاج نقطة التفتيش 1.14B.

مقايضة العرض NVFP4

ثم يستمر الضغط في تنسيق العرض. ضرب التكميم أوزان وتنشيط الطبقات الخطية فقط، مستهدفًا NVFP4 نوع البيانات. استخدم الفريق البحثي nvidia-modelopt v0.45.0. التقطير المدرك للكمية (QAD) يتبع، في المقام الأول لاستعادة الدقة في المدخلات الطويلة.

استخدمت المعايرة 512 عينة: 256 استفسارًا و256 مقطعًا من abisee/cnn_dailymail. استخدم تدريب QAD 20 ألف عينة.

أبلغ فريق rsesearch عن تسليم NVFP4 لشركة Blackwell ما يصل إلى 2x إنتاجية أعلى من BF16. إنه يحتفظ 99%+ من دقة استرجاع BF16. تقوم بطاقة NVFP4 أيضًا بتوثيق أحجام التضمين الديناميكية. يمكنك تقسيم المتجه 2048-د من البداية إلى أبعاد 1024 أو 512. إعادة التطبيع بعد ذلك.

الشرح التفاعلي: مسار الاسترجاع ذو المراحل الخمس

قبل لمس الرمز، شاهد المسار وهو يعمل. إنه ينشط البادئة، والتشفير ثنائي الاتجاه، والتجميع المتوسط، وتطبيع L2، وتسجيل نقاط المنتج. تأتي النتائج من المخرجات المتوقعة المنشورة لكل بطاقة.

مصفوفة النشر

وكما تشير هذه الإرشادات التفصيلية، فإن نقاط التفتيش لا تشترك في مسارات وقت التشغيل.

جنبا إلى جنب مع نقاط التفتيش، أصدر فريق البحث NVIDIA الأمثل خدمة نيم الصغيرة للنموذج 1B. يتطابق NIM القائم على الصدأ مع نقطة تفتيش vLLM على GB200 وRTX PRO 6000 أو يتفوق عليها. اختبرت NVIDIA أطوال تسلسل الإدخال 256 و1024. بشكل منفصل، نفيديا نيمو أوتوموديل تغطي الوصفات الضبط الدقيق والتقطير.

استخدامه في التعليمات البرمجية

مع وضع هذه المسارات في الاعتبار، تأتي البادئات أولاً. تأخذ الاستفسارات query: وتأخذ الوثائق passage: . يتم تطبيع التضمينات باستخدام L2، لذا فإن منتج النقطة يساوي تشابه جيب التمام.

# pip install --upgrade "transformers>=5.2.0" "sentence-transformers>=5.4.1"
import torch
from sentence_transformers import SentenceTransformer

QUERIES = ["How can someone reduce exposure to pollen during allergy season?"]
DOCUMENTS = ["People with pollen allergy can reduce exposure by staying indoors "
             "on dry, windy days, avoiding early-morning outdoor activity, and "
             "going outside after rain when pollen levels are lower."]

model = SentenceTransformer(
    "nvidia/Nemotron-3-Embed-8B-BF16",
    device="cuda",
    model_kwargs={"dtype": torch.bfloat16,
                  # use "sdpa" if FlashAttention-2 is unavailable
                  "attn_implementation": "flash_attention_2"},
    processor_kwargs={"padding_side": "left"},
)
model.max_seq_length = 32768

q = model.encode_query(QUERIES, batch_size=1, convert_to_tensor=True)
d = model.encode_document(DOCUMENTS, batch_size=1, convert_to_tensor=True)
print(model.similarity(q, d))  # card's published q[3]/d[3] score: 0.8008

encode_query و encode_document قراءة المطالبات المحفوظة. لذلك لا تضيف البادئات يدويًا أبدًا. للتقديم، /v2/embed يطبق عليهم من input_type بدلاً من:

vllm serve nvidia/Nemotron-3-Embed-1B-NVFP4 \
  --max-model-len 4096 \
  --max-num-batched-tokens 4096 \
  --max-cudagraph-capture-size 4096

import numpy as np, requests

def embed(input_type: str, texts: list[str]) -> np.ndarray:
    r = requests.post(
        "http://localhost:8000/v2/embed",
        json={"model": "nvidia/Nemotron-3-Embed-1B-NVFP4",
              "input_type": input_type,          # "query" or "document"
              "texts": texts,
              "embedding_types": ["float"],
              "truncate": "END"},
        timeout=120,
    )
    r.raise_for_status()
    return np.array(r.json()["embeddings"]["float"], dtype=np.float32)

scores = embed("query", QUERIES) @ embed("document", DOCUMENTS).T

استخدام الحالات مع الأمثلة

• البحث عن المؤسسات متعدد اللغات: يقوم فريق الدعم بفهرسة التذاكر الهندية واليابانية والإنجليزية معًا. نظرًا لأن الاسترجاع يتم عبر عدة لغات، يمكن للاستعلام الألماني أن يظهر مذكرة حل يابانية.
• استرجاع الكود: شامل التدريب coir_apps, coir_cosqa, synthetic_text2sql، ومقاعد SWE. وبالتالي فإن البحث عن اللغة الطبيعية إلى التعليمات البرمجية هو أقرب إلى التوزيع.
• ذاكرة الوكيل: يسمح الحد الأقصى البالغ 32,768 رمزًا للوكيل بتضمين ملخصات محادثة طويلة دون تقطيع شديد.
• RAG ذات مستويات التكلفة: خدمة 1B-NVFP4 للاستدعاء بكميات كبيرة، وتوجيه الاستعلامات الصعبة إلى 8B. نظرًا لاختلاف العرض، فإن هذا يحتاج إلى فهرسين.

الوجبات السريعة الرئيسية

• يحتل Nemotron-3-Embed-8B-BF16 المرتبة الأولى على RTEB بمعدل 78.46 متوسط ​​NDCG@10.
• ثلاث نقاط تفتيش مفتوحة تمتد على 8B BF16 و1B BF16 و1B NVFP4.
• يحتفظ NVFP4 بنسبة 99%+ من دقة BF16 بمعدل يصل إلى 2x من إنتاجية Blackwell.
• جاء 1B من تقليم ModelOpt NAS بالإضافة إلى تقطير COS + MSE من 8B.
• تستخدم جميع نقاط التفتيش OpenMDW-1.1 وتدعم إدخالات 32,768 رمزًا مميزًا.

تحقق من NVIDIA تطلق منشورًا على Hugging Face, نيموترون 3 تضمين المجموعة, بطاقة 8B-BF16, بطاقة 1B-BF16 و بطاقة 1B-NVFP4. أيضا، لا تتردد في متابعتنا على تغريد ولا تنسى الانضمام إلينا 150 ألف + مل والاشتراك في النشرة الإخبارية لدينا. انتظر! هل أنت على برقية؟ الآن يمكنك الانضمام إلينا على التليجرام أيضًا.

هل تحتاج إلى الشراكة معنا للترويج لصفحة GitHub Repo أو صفحة الوجه المعانقة أو إصدار المنتج أو الندوة عبر الويب وما إلى ذلك؟ تواصل معنا