تعرف على LingBot-World-Infinity: نموذج عالمي سببي مفتوح مزود بحزام وكيل

تم إطلاق Robbyant، وحدة الذكاء المتجسد التابعة لشركة Ant Group LingBot-World-Infinity (LingBot-World 2.0). إنه نموذج توليد فيديو سببي يعمل كمحاكي عالمي تفاعلي. هذه هي الطريقة التي يهاجم بها الفريق وضعي الفشل: الانجراف الأفقي الطويل والكمون التفاعلي.

ما هو LingBot-World-Infinity؟

يقوم النموذج العالمي التفاعلي بإنشاء فيديو إطارًا تلو الآخر، مشروطًا بتدفق إجراءات المستخدم. تعتمد كل حالة فقط على الإطارات السابقة والمدخلات الحالية. قام فريق البحث بإضفاء الطابع الرسمي على هذا كعامل سببي:

p_θ(x_1:T | a_1:T) = Π_t  p_θ(x_t | x_<t, a_≤t)

هنا x_t هي الحالة المرئية في الوقت t. يجمع الإجراء a_t بين وضعية الكاميرا والمطالبة النصية. يستخدم وضع الكاميرا تضمينات Plücker، التي يتم حقنها من خلال تطبيع الطبقة التكيفية (AdaLN). يُدخل النص كمطالبات مجزأة من خلال الانتباه المتبادل.

يدعي فريق البحث أربع ترقيات على LingBot-World:

• أفق تفاعل غير محدود مع جودة مخرجات متسقة.
• متغير مقطر في الوقت الفعلي يكفي لتشغيل تدفقات الفيديو بدقة 720 بكسل بمعدل 60 إطارًا في الثانية.
• مساحة عمل أوسع، بما في ذلك الهجوم والرماية وإلقاء التعويذات وإطلاق النار.
• أداة ربط وكيلة تجمع بين وكيل طيار ووكيل مدير.

النموذج الأساسي هو 14B. يوصف نظير 1.3B خفيف الوزن بأنه قابل للنشر على وحدة معالجة رسومات واحدة.

الهندسة المعمارية: موبا والتدريب على مرحلتين

المساهمة الأساسية هي مزيج من قناع الانتباه ثنائي الاتجاه والانحدار الذاتي (MoBA).. وهو ما يفسر الانجراف.

يستخدم التدريب القياسي بالفيديو الانحدار الذاتي قناع إجبار المعلم. كل إطار صاخب يهتم بنفسه وسياقه النظيف. وجد فريق البحث فشلًا هنا. مع نمو السياق، يعتمد النموذج على هذا السياق بدلاً من التنبؤ بالأطر المستقبلية. والنتيجة هي الإفراط في التجهيز وتدهور جودة الرؤية.

يقوم MoBA بإلحاق كتلة ثنائية الاتجاه كاملة الاهتمام بقناع المعلم. تعمل هذه الكتلة كمنظم. كما أنه يساعد النموذج على التعامل مع توليد الطول المرن.

يعكس قناع الانتباه المتقاطع الانقسام. يعتني مكون الانحدار التلقائي بمطالبة الخلفية جنبًا إلى جنب مع المطالبات المقطعية في نمط مثلثي سفلي. وهذا يمنع دلالات المستقبل من التسرب إلى الوراء. يحضر المكون ثنائي الاتجاه لموجه عالمي واحد.

يعمل التدريب المسبق على تحسين هدف مطابقة التدفق المشروط من خلال استيفاء التدفق المصحح. بعد ذلك، يقوم التدريب اللاحق بضغط المعلم متعدد الخطوات إلى طالب ذو خطوات قليلة:

1. التقطير الاتساق: يجب أن يتم تعيين العناصر الكامنة على نفس مسار ODE (PF-ODE) لتدفق احتمالية المعلم إلى تنبؤات متطابقة.
2. التقطير المطابق للتوزيع (DMD): يتبع المولد تدرج KL بين توزيعات الطالب المزعجة وتوزيعات البيانات المزعجة.

التفاصيل المهمة موجودة في DMD. ويطبقه فريق البحث على مسارات طويلة ذاتية التنفيذ، وليس فقط الحالات التي يفرضها المعلم. وبالتالي يتم تحسين الطالب على توزيع الحالة الذي تحفزه تنبؤاته الخاصة. هذه هي الآلية المعلنة وراء مكافحة الانجراف.

تسخير الوكيل: الميزة التي تستحق أن نأخذها على محمل الجد

لا يلعب متنبئ الإطار نفسه. يقوم فريق البحث Robbyant بتغليف المولد في غلاف إطار المحاكاة المشتركة بين المدير والطيار.

كما هو موضح في ورقة البحث، فإن نموذج الرؤية واللغة هو المدير. فهو يحكم القواعد الدلالية العيانية والتفكير السببي. مولد الفيديو Diffusion Transformer هو الطيار. إنه يحاكي الديناميكيات الفيزيائية منخفضة المستوى ويعرض التحولات.

يعرض الحزام وضعين للتفاعل:

الوضع أ: التفاعل الدلالي المباشر. يقرأ VLM الإطار الحالي ويقوم بإنشاء بطاقات الأحداث. لا توجد أقنعة كائن مطلوبة.

الوضع ب: تفاعل الكائنات بمساعدة التتبع. تقوم حلقة اقتراح الإجراء المستندة إلى SAM (نموذج أي شيء) بتتبع الكائنات عبر القطع. يقوم المستخدمون بتحديد كائن متعقب وتنفيذ الإجراءات. تُظهر الورقة البحثية عمليات فتح الأبواب وتدوير الكرة.

يمكن للمستخدمين أيضًا التدخل نصيًا. تغيرات الحالة العالمية تغير الوقت من اليوم أو الطقس. يؤدي حقن الكيان المحلي إلى ظهور كائنات، ويختار VLM نقاط دخول معقولة.

الواجهة تتبع اصطلاحات اللعبة. WASD يقود الحركة، ويتحكم IJKL في العرض. الفضاء يؤدي إلى قفزة. يؤدي P إلى انزلاق الجناح. يحمل المفتاحان U وO إجراءات الأحرف المقترحة من قبل VLM. يحمل المفتاحان F وG أحداثًا بيئية. المفاتيح الرقمية هي فتحات أحداث مسجلة بواسطة المستخدم.

التدريب العملي: ما الذي يتم شحنه وما لا يتم شحنه

التوقعات تحتاج إلى معايرة هنا.

قاعدة التعليمات البرمجية مبنية على Wan2.2. يمكن تنزيل lingbot-world-v2-14b-causal-fast فقط اليوم. تم وضع علامة على الطراز 14B الذي تم تدريبه مسبقًا، والطراز ثنائي الاتجاه 14B، وكلا النوعين 1.3B، TODO.

git clone https://github.com/robbyant/lingbot-world-v2.git
cd lingbot-world-v2
pip install -r requirements.txt            # torch >= 2.4.0
pip install flash-attn --no-build-isolation
huggingface-cli download robbyant/lingbot-world-v2-14b-causal-fast \
  --local-dir ./lingbot-world-v2-14b-causal-fast

يقوم generator.py المقدم بتشغيل الاستدلال السببي باستخدام التخزين المؤقت لـ KV. يقوم بمعالجة الإطارات قطعة تلو الأخرى بدلاً من معالجتها دفعة واحدة. الأمر المرجعي هو ثمانية GPU و480P:

torchrun --nproc_per_node=8 generate.py \
  --task i2v-A14B --size 480*832 \
  --ckpt_dir lingbot-world-v2-14b-causal-fast \
  --image examples/03/image.jpg --action_path examples/03 \
  --dit_fsdp --t5_fsdp --ulysses_size 8 \
  --frame_num 361 --local_attn_size 18 --sink_size 6 \
  --prompt "A serene lakeside scene with a lone tree standing in calm water..."

النص المرجعي الذي تم إصداره هو 480 × 832 عبر ثماني وحدات معالجة رسوميات. يصف الرقم 60 إطارًا في الثانية التدفق المنتشر، الذي يمر عبر مصفى مكاني وزماني. يقوم هذا المحسن بتركيب الإطارات التي تم فك تشفيرها، ثم يقوم بتجميع الإطارات المتوسطة للحصول على معدل إطارات أعلى. يتم تجميع كلتا المرحلتين في محركات TensorRT.

توجد أيضًا نقطة تفتيش Diffusers:

import torch
from diffusers import DiffusionPipeline
from diffusers.utils import load_image, export_to_video

pipe = DiffusionPipeline.from_pretrained(
    "robbyant/lingbot-world-v2-14b-causal-fast",
    dtype=torch.bfloat16, device_map="cuda")
frames = pipe(image=load_image("seed.png"), prompt="...").frames[0]
export_to_video(frames, "output.mp4")

بالنسبة للمسار المستضاف، يخدم Reactor النموذج باعتباره Reactor/lingbot-world-2. تسرد مستنداتها 48 إطارًا في الثانية بدقة 1664 × 960. تعتمد الجلسات على الأوامر وتكون ذات حالة:

from reactor_sdk import Reactor, ReactorStatus

reactor = Reactor(model_name="reactor/lingbot-world-2", api_key=KEY)

@reactor.on_status(ReactorStatus.READY)
async def on_ready(status):
    ref = await reactor.upload_file("seed.jpg")
    await reactor.send_command("set_image", {"image": ref})
    await reactor.send_command("set_prompt", {"prompt": "A misty alpine valley."})
    await reactor.send_command("start", {})

الحركة حالة مستمرة وليست نبضًا. set_move_longitudinal: محركات الأقراص “للأمام” حتى ترسل “خاملاً”. الأوامر تهبط عند حدود القطعة التالية.

مقارنة

مقارنة ورقة البحث هي نوعية. تعتمد كل مطالبة بالتفوق على شبكات الإطارات جنبًا إلى جنب.

حالات الاستخدام

• النماذج الأولية للعبة والمستوى: بذور صورة لمدينة القناة. قم بتبديل الموجه لاستدعاء عاصفة ثلجية. كرر الحالة المزاجية قبل وجود أي مسار للأصول.
• المحاكاة المجسدة: أنشئ عمليات طرح من منظور الشخص الأول ضمن أوضاع الكاميرا المكتوبة. قم بتغذية الإطارات لمتعلم السياسة دون تأليف مشهد Unreal Engine.
• البيانات الاصطناعية لفهم الفيديو: تنتج المطالبات الجزئية أحداثًا محلية مؤقتًا. كل قطعة تحمل التسمية التوضيحية الخاصة بها عن طريق البناء.
• أدوات تقييم الوكيل: اسمح للوكيل المدير باقتراح الأحداث، ثم سجل كيفية تفاعل الوكيل النهائي. تشبيه الورقة هو سقالة الترميز مثل الدستور الغذائي.
• التصور المسبق: قم بقيادة set_camera_pose لتحركات كاميرا العميل الموجهة. أعد تصميم العالم في منتصف البث دون فقدان الصورة المرجعية.

الوجبات السريعة الرئيسية

• LingBot-World-Infinity (LingBot-World 2.0) هو نموذج عالم سببي مفتوح من Robbyant، تم إصداره بنقطة تفتيش واحدة 14B.
• إن اهتمام MoBA بالإضافة إلى DMD على الإطلاق الذاتي هو المساهمة الحقيقية – فهو يستهدف الانجراف طويل الأفق مباشرةً.
• يحول حزام المخرج (VLM) والطيار (مولد DiT) مؤشر الإطار إلى جهاز محاكاة تفاعلي.
• يحتاج العنوان الرئيسي بدقة 720 بكسل/60 إطارًا في الثانية إلى حزمة النشر التي لم يتم إصدارها؛ يعمل البرنامج النصي العام على 480 × 832 على ثماني وحدات معالجة رسوميات.
• المقارنة نوعية: طرح واحد مدته 60 دقيقة، بدون VBench أو FVD، وترخيص CC BY-NC-SA 4.0 غير تجاري.

الشرح التفاعلي

تحقق من ورق, جيثب ريبو, صفحة المشروع و الأوزان النموذجية. أيضا، لا تتردد في متابعتنا على تغريد ولا تنسى الانضمام إلينا 150 ألف + مل والاشتراك في النشرة الإخبارية لدينا. انتظر! هل أنت على برقية؟ الآن يمكنك الانضمام إلينا على التليجرام أيضًا.

هل تحتاج إلى الشراكة معنا للترويج لصفحة GitHub Repo أو صفحة الوجه المعانقة أو إصدار المنتج أو الندوة عبر الويب وما إلى ذلك؟ تواصل معنا

_{ملاحظة: شكرًا لفريق أبحاث Ant على القيادة الفكرية/الموارد الخاصة بهذا المقال. قام فريق Ant Research بدعم هذا المحتوى/المقالة للترويج لها.}