تم إصدار Robbant من Ant Group لينغبوت-VLA 2.0، نموذج أساسي للرؤية واللغة والعمل (VLA) للروبوتات. يتضمن الإصدار تقريرًا فنيًا وقاعدة بيانات Apache-2.0 ونقطة تفتيش 6B. يستهدف فريق البحث ثغرة معروفة: غالبًا ما تعمل نماذج VLA في المختبرات ولكنها تتعثر في النشر. يعمل LingBot-VLA 2.0 على تطوير الإصدار السابق عبر ثلاثة محاور عملية. هذه هي التعميم، ومساحة العمل الموسعة، ونمذجة الديناميكيات التنبؤية.
ما هو LingBot-VLA 2.0؟
LingBot-VLA 2.0 هي سياسة روبوت عامة مبنية على العمود الفقري للغة الرؤية. يقوم بتحويل صور الكاميرا وتعليمات اللغة إلى إجراءات روبوتية. النموذج العام هو lingbot-vla-v2-6b، وهو نقطة تفتيش “العمق الأصلي” 6B. يستخدم Qwen3-VL-4B-Instruct باعتبارها العمود الفقري VLM. نموذجين للمعلمين عمق LingBot و دينو فيديو، الإشراف على التدريب من خلال التقطير.
مكالمة استدلال واحدة تستغرق حوالي 130 مللي ثانية على NVIDIA GeForce RTX 4090D. يستخدم هذا القياس 10 خطوات لتقليل الضوضاء. يستخدم خبير العمل تصميم مزيج من الخبراء (MoE) للقياس.
خط أنابيب البيانات: 60,000 ساعة عبر 20 تكوينًا
يبدأ التعميم بالبيانات. يقوم فريق البحث برعاية تقريبًا 60,000 ساعة بيانات ما قبل التدريب. هذا يغطي 50,000 ساعة مسارات الروبوت و 10,000 ساعة من مقاطع الفيديو البشرية الأنانية. تمتد بيانات الروبوت 20 تكوينات للروبوت، من منصات ذات ذراع واحدة إلى أشباه بشرية كاملة. المجموعة الأولية أكبر: حوالي 90.000 ساعة روبوت و20.000 ساعة أنانية. يقوم خط الأنابيب المُعاد تصميمه بتصفية العينات المزعجة وصولاً إلى المجموعة عالية الجودة.
التصفية واضحة وقابلة للقياس. يقوم فريق البحث بحساب رعشة الدرجة الثالثة جنبًا إلى جنب مع درجات Z للسرعة والتسارع لكل نموذج. يتم إسقاط الحلقات ذات السلاسة غير الطبيعية أو الإشارات الثابتة التي تزيد عن 95%. يتم فحص مقاطع الفيديو مقابل حالات إعادة التشغيل باستخدام URDF لكل روبوت. تعمل التعليقات التوضيحية على إزالة التمويه والإطباق والإطارات المسقطة واختلال طرق العرض المتعددة. تمر المقاطع الأنانية بمرشح VLM، ثم إعادة بناء وضعية اليد الأنانية SLAM وMANO.
يتم التعليق التوضيحي تلقائيًا باستخدام نموذج لغة الرؤية. Qwen3.6-27B يقوم بتقسيم كل مقطع فيديو إلى مهام فرعية متجاورة مؤقتًا. تحصل كل مهمة فرعية على إجراء ذري من مفردات مغلقة مكونة من 18 فئة. تحتوي تلك المفردات على 15 فعلًا بدائيًا بالإضافة إلى العبور والخمول وغيرها. عبر الجسم، تهيمن الحركة والعبور من خلال التردد.
تمثيل العمل الموحد
تعرض الروبوتات المختلفة مفاصل مختلفة، لذا فإن LingBot-VLA 2.0 يوحدها. يستخدم أ ناقل قانوني ذو 55 بعدًا لكل من الدول والأفعال. تم إصلاح التخطيط عبر كل تجسيد في مجموعة البيانات.
| عنصر | أبعاد |
| وضعية مفصل الذراع | 14 |
| وضعية المؤثر النهائي | 14 |
| موقف القابض | 2 |
| وضعية مفصل اليد | 12 |
| وضعية الخصر | 4 |
| وضعية الرأس | 2 |
| إشارة التنقل | 3 |
| محجوز | 4 |
يستخدم كل وضع من وضعيات المؤثر النهائي للذراع إحداثيات XYZ بالإضافة إلى رباعي الدوران، مما يعطي 7 أبعاد لكل ذراع. الروبوتات التي تفتقر إلى جزء من الجسم تقوم ببساطة بحشو الأبعاد المقابلة. يتيح ذلك لنموذج واحد التحكم في الأذرع واليدين والقابضين والخصور والرؤوس وقواعد الهواتف المحمولة.
خبير العمل بوزارة التربية والتعليم
يستبدل خبير الإجراء شبكة التغذية الأمامية الخاصة به بشبكة متفرقة وزارة التربية والتعليم طبقات. تحتفظ كل طبقة من طبقات وزارة التربية بخبير مشترك واحد إلى جانب العديد من الخبراء الموجهين. يتم تنشيط الخبراء الموجهين من أعلى K فقط لكل رمز مميز، لذلك تظل الحوسبة النشطة مقيدة. كل خبير هو أ سويغلو ملب مع عرض متوسط أصغر.
يتبع التوجيه أساسًا سينيًا، مساعدة خالية من الخسارة استراتيجية مستوحاة من DeepSeek-V3. يعمل التحيز لكل خبير على تصحيح خلل التحميل دون إضافة خسارة موازنة التحميل. لا تزال الثقة في التوجيه تأتي من درجات التقارب الأصلية وغير المتحيزة للنموذج. في ظل المعلمات النشطة المتطابقة، يصل نموذج MoE إلى خسارة تدريب أقل من خط الأساس الكثيف. ويصل أيضًا إلى خطأ أقل في إجراء التحقق من الصحة في مهام GM-100.
التقطير ثنائي الاستعلام للديناميكيات التنبؤية
التنفيذ الحقيقي يحتاج إلى الترقب، وليس مجرد رد فعل على الإطار الحالي. يقوم LingBot-VLA 2.0 بإلحاق استعلامين قابلين للتعلم بالرموز المرئية والنصية. تستهدف Qt الملاحظة الحالية، بينما تستهدف Qt+T الملاحظة المستقبلية. الأفق T يساوي حجم قطعة العمل.
يشرف اثنان من المعلمين على هذه الاستفسارات. عمق LingBot يوفر إشارات هندسية واضحة من خلال التنبؤ بالعمق. دينو فيديو يزود مقدمات دلالية ذات أسس زمنية. تم بناء DINO-Video على دينوv3 العمود الفقري مع الاهتمام الزمني السببي و3D-RoPE. تم تدريبه على مقاطع فيديو بحجم 5 ملايين تغطي الإنترنت والبيانات الأنانية والروبوتية. في تقييم LARYBench، تتقدم DINO-Video في ثلاثة من أربعة مقاييس.
النتائج المرجعية
يقوم Robbyant بتقييم النموذج في بيئة عامة على GM-100 (100 مارس العظيم) معيار ثنائي. يتم تدريب سياسة واحدة بشكل مشترك على تسع مهام لكل نموذج. يتم الإبلاغ عن النتائج على أنها درجة التقدم / معدل النجاح.
| منصة | GR00T N1.7 | π0.5 | لينجبوت-VLA-1.0 | لينجبوت-VLA-2.0 |
| AgileX كوبوت ماجيك | 36.3 / 17.8 | 59.1 / 32.2 | 58.2 / 30.0 | 66.2 / 34.4 |
| جالاكسيا R1Pro | 16.4 / 5.6 | 27.4 / 8.9 | 32.7 / 15.6 | 34.6 / 15.6 |
في المعالجة المتنقلة طويلة الأفق، يتم اختبار النموذج تحت إعدادين. يستخدم المجال (ID) توزيع التدريب، في حين تشكل اضطرابات OOD والكائنات.
| تجسيد | مهمة | جلسة | لينجبوت-VLA-2.0 | π0.5 |
| أستريبوت S1 | فرز الثلاجة | في المجال | 77.1 / 60.0 | 65.3 / 46.7 |
| أستريبوت S1 | فرز الثلاجة | OOD | 37.0 / 13.3 | 30.3 / 6.7 |
| كوبوت ماجيك-ARX X5 | تنظيف الموقد | في المجال | 84.3 / 66.7 | 79.9 / 60.0 |
| كوبوت ماجيك-ARX X5 | تنظيف الموقد | OOD | 67.5 / 40.0 | 62.5 / 33.3 |
تكون المكاسب أكبر في المهام التي تحتاج إلى تأريض دقيق للكائن. في سلسلة مفاتيح Agilex Retrieve، ينتقل النجاح من 60.0 إلى 100.0 مقابل الإصدار 1.0. لا تزال بعض المهام تظهر فجوة بين التقدم والنجاح. تشير هذه الفجوة إلى حالات الفشل في خطوة الموضع أو الإصدار الدقيقة النهائية.
ابدء
يشحن المستودع البرامج النصية لتثبيت وتنزيل ونشر. المثال أدناه يقوم بتنزيل الأوزان التي تم إصدارها.
# Environment: Python 3.12, PyTorch 2.8.0, flash-attn 2.8.3
python3 scripts/download_hf_model.py --repo_id robbyant/lingbot-vla-v2-6b --local_dir lingbot-vlaيعمل نشر الروبوت الحقيقي على تشغيل خادم السياسة باستخدام الاستدلال المترجم.
export QWEN3VL_PATH=path_to_Qwen3-VL-4B-Instruct
python -m deploy.lingbot_vla_v2_policy \
--model_path path_to_posttraining_ckpt \
--use_compile \
--use_length 25 \
--port port
استخدامات ما بعد التدريب ليروبوت مجموعات البيانات v2.1 أو v3.0. يتم ضبط المثال المقدم بدقة روبوت توين 2.0 عبر 50 مهمة. يمكن أن يستخدم التوجيه الخسارة المساعدة التسلسلية مع الخسارة z، أو الإعداد الخالي من الخسارة. يكشف التكوين أيضًا عن مُحسِّن Muon، مع وجود AdamW كإعداد افتراضي.
استخدام الحالات مع الأمثلة
تحدد مساحة العمل الموسعة سيناريوهات النشر الملموسة.
- التلاعب بالمطبخ المحمول: يقوم Astribot S1 بفرز الفواكه والمشروبات في الثلاجة. يتطلب هذا حركة القاعدة وفتح الباب ووضع الأشياء معًا.
- تنظيف السطح: يقوم Cobot Magic-ARX X5 بمسح الرغوة عن الموقد باستخدام إسفنجة. يؤدي هذا إلى الإمساك بالسلاسل والمسح وتغيير موضع الأداة.
- التعبئة والفرز الثنائي: تشمل مهام GM-100 تعبئة البيض وتعبئة الأدوات وفرز الكتل.
- السيطرة على اليد الحاذقة: تستخدم Unitree G1 وFourier GR-2 وAgiBot A2 أيدي 12-DoF، وليس المقابض.
الشرح الديناميكي التفاعلي
الوجبات السريعة الرئيسية
- تم تدريب LingBot-VLA 2.0 مسبقًا على ما يقرب من 60,000 ساعة من البيانات – 50,000 ساعة من مسارات الروبوت عبر 20 تكوينًا بالإضافة إلى 10,000 ساعة من الفيديو البشري الأناني.
- تعمل مساحة العمل الأساسية ذات 55 بُعدًا على توحيد الأذرع والمؤثرات النهائية والقابضين والأيدي البارعة والخصور والرؤوس والقواعد المتحركة، لذلك يغطي نموذج واحد التحكم في الجسم بالكامل.
- يستخدم خبير الإجراء MoE على مستوى الرمز المميز الخالي من الخسائر، والذي يصل إلى خسارة أقل في التدريب وخطأ في إجراء التحقق من النموذج الكثيف في المعلمات النشطة المتطابقة.
- يضيف تقطير الاستعلام المزدوج الاستعلامات الحالية/المستقبلية التي يشرف عليها LingBot-Depth (الهندسة) وDINO-Video (الديناميكيات الزمنية) للتلاعب بالمستقبل.
- في الإعداد العام GM-100، سجل 66.2/34.4 على AgileX Cobot Magic و34.6/15.6 على Galaxea R1Pro، متفوقًا على π0.5 وLingBot-VLA-1.0، ويتفوق على π0.5 في كل من المهام المتنقلة طويلة الأفق داخل النطاق وOOD.
تحقق من ورق و الأوزان النموذجية. أيضا، لا تتردد في متابعتنا على تغريد ولا تنسى الانضمام إلينا 150 ألف + مل والاشتراك في النشرة الإخبارية لدينا. انتظر! هل أنت على برقية؟ الآن يمكنك الانضمام إلينا على التليجرام أيضًا.
هل تحتاج إلى الشراكة معنا للترويج لصفحة GitHub Repo أو صفحة الوجه المعانقة أو إصدار المنتج أو الندوة عبر الويب وما إلى ذلك؟ تواصل معنا
ملاحظة: شكرًا لفريق أبحاث Ant على القيادة الفكرية/الموارد الخاصة بهذا المقال. قام فريق Ant Research بدعم هذا المحتوى/المقالة للترويج لها.
اكتشاف المزيد من كحيل | أخبار التقنية
اشترك للحصول على أحدث التدوينات المرسلة إلى بريدك الإلكتروني.
