يقوم فك التشفير التخميني DFlash بصياغة كتل رمزية كاملة بالتوازي بما يصل إلى 15x إنتاجية أعلى على NVIDIA Blackwell

تقوم نماذج اللغة الكبيرة ذات الانحدار التلقائي بإنشاء نص رمزي واحد في كل مرة. كل رمز ينتظر الذي قبله. تترك هذه الحلقة التسلسلية وحدات معالجة الرسومات الحديثة غير مستخدمة بشكل كافٍ وتبقي الاستدلال بطيئًا. وتزداد التكلفة سوءًا مع نماذج الاستدلال الطويلة لسلسلة الأفكار. إن مخرجاتهم الطويلة تجعل زمن الوصول هو الجزء المهيمن من عملية التوليد.

فك التشفير التخميني هو الحل القياسي. يقترح نموذج مسودة صغير رموزًا مستقبلية. يتحقق النموذج المستهدف الكبير من تلك الرموز المميزة بالتوازي. يتم الاحتفاظ بالرموز المميزة المقبولة، وبالتالي يظل الإخراج بدون فقدان. لكن معظم الأساليب، بما في ذلك EAGLE-3 المتطور، لا تزال تعتمد على الانحدار الذاتي. تحدد هذه الصياغة التسلسلية عمليات تسريع في العالم الحقيقي تقترب من 2-3×.

دففلاش، الذي قدمه فريق بحث من فريق جامعة كاليفورنيا في سان دييغو (z-lab)، يأخذ طريقًا مختلفًا. إنه نموذج نشر كتلة خفيف الوزن مصمم للصياغة. بدلاً من صياغة الرموز المميزة واحدة تلو الأخرى، فإنها تقترح كتلة كاملة في تمريرة أمامية واحدة. ثم يتحقق النموذج المستهدف من تلك الكتلة بالتوازي.

أبلغ فريق البحث عن تسارع أكثر من 6 × بدون فقدان عبر مجموعة من النماذج والمهام. تصل سرعتها إلى 2.5× أعلى من EAGLE-3. في NVIDIA Blackwell، أعلن فريق NVIDIA الهندسي عن إنتاجية أعلى بما يصل إلى 15× لـ gpt-oss-120b. يحمل هذا الرقم نفس هدف تفاعل المستخدم.

ما هي تغييرات صياغة كتلة الانتشار

تعمل نماذج نشر الكتلة على تقليل كتلة الرموز المميزة المقنعة مرة واحدة. إنها تمزج بين التوليد المتوازي وبنية الكتلة ذات الانحدار الذاتي. يطبق DFlash هذه الفكرة فقط على مرحلة الصياغة. يبقى التحقق مع نموذج الهدف الانحداري التلقائي الموثوق به.

هذا الانقسام مهم للجودة. غالبًا ما تتبع دورات LLM الخاصة بالنشر المستقل نماذج الانحدار الذاتي من حيث الدقة. كما أنهم يحتاجون أيضًا إلى العديد من خطوات تقليل الضوضاء، مما يؤدي إلى إبطاء سرعة الاستدلال الخام لديهم. يتجنب DFlash كلتا المشكلتين. يجب أن تكون المسودة جيدة بما يكفي ليتم قبولها. ويضمن التحقق الموازي للهدف توزيع المخرجات النهائية.

والفائدة الثانية هي تكلفة الصياغة. تنمو تكلفة محرر الانحدار الذاتي خطيًا مع عدد الرموز المميزة للمضاربة. يقوم محرر النشر بإنشاء جميع الرموز المميزة في مسار متوازي واحد. لذا يظل زمن استجابة الصياغة ثابتًا إلى حد كبير مع نمو الكتلة. يؤدي هذا إلى تحرير DFlash لاستخدام نماذج مسودة أعمق وأكثر تعبيرًا دون إضافة زمن الوصول.

وهذا يفصل DFlash عن أعمال صياغة النشر السابقة. استخدمت طرق مثل DiffuSpec وSpecDiff-2 أدوات صياغة ضخمة بحجم 7B، مع تحديد سرعات قصوى تقترب من 3–4×. يستخدم DFlash بدلاً من ذلك أداة صياغة صغيرة مكونة من خمس طبقات (ثماني طبقات لـ Qwen3-Coder).

رؤية “الهدف يعرف الأفضل”.

الفكرة الأساسية لـ DFlash بسيطة: الهدف يعرف أفضل. تعمل الميزات المخفية لنماذج الانحدار الذاتي الكبيرة على تشفير المعلومات حول الرموز المستقبلية المتعددة. يستخرج DFlash الحالات المخفية من عدة طبقات مستهدفة. فهو يدمجها في ميزة سياق هدف مدمجة واحدة. تقوم هذه الميزة بعد ذلك بشروط مسودة النموذج.

يقوم DFlash بإدخال هذه الميزة بشكل مختلف عن EAGLE-3. يقوم EAGLE-3 بدمج الميزات المستهدفة في تضمينات مدخلات المسودة فقط. ومع تزايد عمق السحب، تضعف تلك الإشارة. يقوم DFlash بدلاً من ذلك بإدخال الميزة في إسقاطات المفتاح والقيمة لكل طبقة مسودة. توجد الميزات المتوقعة في ذاكرة التخزين المؤقت KV الخاصة بالمسودة وتستمر عبر تكرارات الصياغة.

يتيح حقن KV هذا قبول مقياس الطول مع عمق السحب. يتفوق برنامج DFlash ذو الخمس طبقات الذي ينتج 16 رمزًا على EAGLE-3 الذي يولد 8 رموزًا. إنه زمن وصول أقل وقبول أعلى في اختبارات الورقة. يصبح نموذج المسودة بشكل فعال محول نشر أعلى الهدف.

رقمان للتسريع، تم قياسهما بشكل مختلف

إن 6 × بحث DFlash هو تسارع أحادي التدفق بدون فقدان. في Qwen3-8B مع فك التشفير الجشع (الواجهة الخلفية للمحولات)، يبلغ متوسط ​​سرعة DFlash 4.86×. يبلغ متوسط ​​EAGLE-3 1.76× عند حجم الشجرة 16 و2.02× عند حجم الشجرة 60. يصل DFlash إلى 6.08× في MATH-500 (τ = 7.87) والمتوسط ​​τ = 6.49 عبر المهام.

إن 15× من NVIDIA هي إنتاجية عند هدف تفاعلي ثابت. ينطبق هذا على gpt-oss-120b على ثماني وحدات معالجة رسوميات NVIDIA Blackwell في نظام DGX B300، باستخدام TensorRT-LLM. في نطاق 500-600 رمز مميز/ثانية لكل مستخدم، يقدم DFlash أكثر من 15× إنتاجية فك التشفير الانحداري التلقائي. وهذا يزيد بحوالي 1.5 مرة عن EAGLE-3 عند نفس النقطة.

يوضح الجدول أدناه عمليات تسريع الورقة لكل مهمة على Qwen3-8B عند درجة الحرارة 0 (الواجهة الخلفية للمحولات).

تقيس مقارنة NVIDIA Speed-Bench المنفصلة عمليات تسريع التفاعل في التزامن المطابق. على gpt-oss-120b، يبلغ متوسط ​​DFlash 2.3× مقابل 1.7× لـ EAGLE-3. في Llama 3.1 8B Instruct، يبلغ متوسط ​​DFlash 2.8× مقابل 2.2× لـ EAGLE-3.

استخدام الحالات مع الأمثلة

يستهدف DFlash الخدمة الحساسة لزمن الوصول حيث يكون إنشاء الرمز المميز أمرًا مؤلمًا. ثلاثة أنماط تناسب بشكل جيد:

• وكلاء الترميز: يحتاج إنشاء التعليمات البرمجية إلى استجابات سريعة وتفاعلية. في Gemma 4 31B مع vLLM، تبلغ NVIDIA ما يصل إلى 5.8× على Math500 بالتزامن 1. ويصل HumanEval إلى 5.6×. المسودات الأسرع تعني أوقات انتظار أقصر داخل حلقات الوكيل.
• نماذج الاستدلال: آثار سلسلة الفكر الطويلة تهيمن على زمن الأجيال. مع تمكين وضع التفكير، يحمل DFlash ما يقرب من 4.5× تحت فك التشفير الجشع على Qwen3-4B وQwen3-8B. تحت أخذ العينات، فإنه يحمل حوالي 3.9×. وهذا يقلل من تكلفة مخرجات التفكير الطويلة.
• الخدمة والإنتاجية: يعمل DFlash أيضًا على رفع إنتاجية الخدمة. في SGLang مع وحدة معالجة الرسومات B200، يصل إلى 5.1× على Qwen3-8B (Math500، التزامن 1). تتضاءل المكاسب مع ارتفاع التزامن ولكنها تظل إيجابية، لذلك تستمر تكلفة الخدمة في الانخفاض.

تشغيل ديفلاش

يأتي DFlash مزوّدًا بنقاط تفتيش ودعم لإطار العمل، لذا يحتاج الاعتماد إلى القليل من التعليمات البرمجية. في vLLM، يمكنك تبديل تكوين EAGLE-3 بتكوين DFlash. لا يلزم إعادة هيكلة التطبيق.

vllm serve Qwen/Qwen3.5-27B \
  --speculative-config '{"method": "dflash", "model": "z-lab/Qwen3.5-27B-DFlash", "num_speculative_tokens": 15}' \
  --attention-backend flash_attn \
  --max-num-batched-tokens 32768

تدعم الواجهة الخلفية للمحولات طرازات Qwen3 وLLaMA-3.1. ويكشف أ spec_generate استدعاء يقوم بإقران نموذج مسودة مع نموذج مستهدف.

from transformers import AutoModel, AutoModelForCausalLM, AutoTokenizer

draft = AutoModel.from_pretrained(
    "z-lab/Qwen3-8B-DFlash-b16", trust_remote_code=True,
    dtype="auto", device_map="cuda:0").eval()
target = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen3-8B", dtype="auto", device_map="cuda:0").eval()
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen3-8B")

messages = [{"role": "user", "content": "How many positive whole-number divisors does 196 have?"}]
input_ids = tokenizer.apply_chat_template(
    messages, return_tensors="pt", add_generation_prompt=True,
    enable_thinking=False).to(draft.device)

output = draft.spec_generate(
    input_ids=input_ids, max_new_tokens=2048, temperature=0.0,
    target=target, stop_token_ids=[tokenizer.eos_token_id])
print(tokenizer.decode(output[0], skip_special_tokens=False))

الوجبات السريعة الرئيسية

• يقوم DFlash بصياغة كتلة رمزية كاملة في تمريرة أمامية واحدة، وليس رمزًا واحدًا في كل مرة.
• يقوم بإدخال ميزات مخفية مستهدفة في ذاكرة التخزين المؤقت KV لكل طبقة مسودة، مما يؤدي إلى زيادة طول القبول بالعمق.
• مقاييس ورقة البحث: ما يصل إلى 6.08× تسريع بدون خسارة على Qwen3-8B؛ اختبار NVIDIA: ما يصل إلى 15× إنتاجية على Blackwell عند تفاعل ثابت.
• تحل أداة الصياغة خفيفة الوزن المكونة من خمس طبقات محل أدوات الصياغة 7B التي توجت طرق النشر السابقة بالقرب من 3-4 ×.

الشرح التفاعلي

تحقق من صفحة المشروع, الورق (arXiv 2602.06036), جيثب, تعانق نقاط التفتيش الوجه و مدونة نفيديا. أيضا، لا تتردد في متابعتنا على تغريد ولا تنسى الانضمام إلينا 150 ألف + مل والاشتراك في النشرة الإخبارية لدينا. انتظر! هل أنت على برقية؟ الآن يمكنك الانضمام إلينا على التليجرام أيضًا.

هل تحتاج إلى الشراكة معنا للترويج لصفحة GitHub Repo أو صفحة الوجه المعانقة أو إصدار المنتج أو الندوة عبر الويب وما إلى ذلك؟ تواصل معنا