Mistral AI تطلق Robostral Navigate: نموذج 8B يمكّن الروبوتات من التنقل في البيئات المعقدة باستخدام كاميرا RGB واحدة

لقد تم إطلاق ميسترال AI التنقل روبوسترال، نموذجها الأول المصمم للملاحة المجسدة. يلتقط نموذج 8B صور RGB وتعليمات باللغة البسيطة، ثم يحرك الروبوت. والجدير بالذكر أنه حقق نجاحًا بنسبة 76.6% في التحقق من صحة R2R-CE غير مرئي باستخدام كاميرا RGB واحدة فقط.

ما هو Robostral التنقل؟

Robostral Navigate هو نموذج 8B للملاحة الآلية عبر البيئات المعقدة. تشمل هذه البيئات المكاتب والمباني السكنية والمباني التجارية والأماكن الخارجية. أنت تعطيه تعليمات واحدة، وهو يكمل المهمة بأكملها بمفرده. على سبيل المثال: “اترك الردهة، وسر عبر الممر، وادخل غرفة الإمدادات، وتوقف لمواجهة الرف الثاني.والأهم من ذلك أنها تتحرك عبر مساحات حية مليئة بالأشخاص والعقبات التي لم يسبق لها مثيل في التدريب.

علاوة على ذلك، تستخدم معظم أنظمة الملاحة أجهزة استشعار للعمق، أو LiDAR، أو عدة كاميرات معًا. على النقيض من ذلك، يستخدم Robostral Navigate كاميرا RGB عادية ولا توجد مستشعرات عمق. كما أن عددًا أقل من أجهزة الاستشعار يجعل النظام أكثر كفاءة من أساليب أجهزة الاستشعار المتعددة.

التنقل عبر الإشارة: كيف يعمل

وبعيدًا عن الأجهزة، فإن السؤال التالي هو كيف يقرر النموذج مكان التحرك. لاختيار كل حركة، يستخدم النموذج طريقة تسمى مشيرا. ونظرًا للمهمة وتاريخ المراقبة، فإنه يتنبأ بالمكان الذي سيتحرك فيه الروبوت بعد ذلك. وعلى وجه التحديد، فإنه يستنتج إحداثيات صورة الهدف في عرض الكاميرا الحالي. كما أنه يتنبأ بالاتجاه المطلوب عند الوصول.

ولهذا الاختيار فائدة واضحة. على عكس الأوامر المستندة إلى الإزاحات المترية، يظل التأشير قويًا للتغيرات الجوهرية في الكاميرا والتغيرات العالمية. ومع ذلك، تفشل الإشارة عندما يقع الهدف خارج مجال الرؤية الحالي. في هذه الحالة، يعود النموذج إلى عمليات الإزاحة في إطار الإحداثيات المحلي للروبوت. على سبيل المثال: “تحرك مترين للأمام، و1.5 متر إلى اليسار، وانعطف 25 درجة إلى اليسار.‘

بنيت من الألف إلى الياء

والجدير بالذكر أن Robostral Navigate لا يعتمد على VLMs الموجودة مفتوحة المصدر. وبدلاً من ذلك، يبدأ الأمر من نموذج لغة الرؤية الخاص بشركة ميسترال، والذي تم تصميمه خصيصًا للمهام الأساسية. وتشمل هذه المهام الإشارة والعد وتوطين الكائنات. ثم يظهر التنقل كامتداد طبيعي للتأريض. بمجرد أن يعرف النموذج مكان الأشياء، فإنه يتعلم كيفية التحرك.

بالنسبة لبيانات التدريب، قامت ميسترال ببناء خط أنابيب توليد بالكامل في المحاكاة. أنتج خط الأنابيب هذا ما يقرب من 400000 مسار تم جمعها عبر 6000 مشهد.

التدريب الفعال والتعلم المعزز عبر الإنترنت

وبعيدًا عن البيانات، كانت كفاءة التدريب عنصرًا أساسيًا في التصميم. تستخدم الطريقة خوارزمية تعتمد على التخزين المؤقت للبادئة. تعمل إستراتيجية إخفاء الانتباه المبنية على الشجرة على ضغط حلقة كاملة في تسلسل واحد. وبالتالي، يتدرب النموذج على جميع الخطوات الزمنية في تمريرة أمامية واحدة. كما أنه يمنع تسرب المعلومات بين الخطوات الزمنية.

ونتيجة لذلك، يقلل هذا الأسلوب من رموز التدريب بمقدار 22× مع الاحتفاظ بجميع إشارات التعلم. ومن الناحية العملية، فإن عمليات التشغيل التي كانت تستغرق أشهرًا في السابق تنتهي الآن خلال أيام. بعد التدريب الخاضع للإشراف، طبقت ميسترال CISPO، وهي خوارزمية التعلم المعزز عبر الإنترنت. تتيح هذه المرحلة للنموذج التعلم من التجربة والخطأ، والتعافي من حالات الفشل، واكتساب السلوكيات الاستكشافية. كما أنه يخفف من مشكلة تحول التوزيع لاستنساخ سلوك الفانيليا. وقد أدت هذه الخطوة بمفردها إلى رفع معدل النجاح بنسبة 3.2%.

المعيار والأداء

عند التقييم، يصل Robostral Navigate إلى أحدث النتائج في R2R-CE. R2R-CE يعني “من غرفة إلى غرفة في البيئات المستمرة”، وهو معيار قياسي لمتابعة التعليمات. إنه مبني على Matterport3D، حيث يتبع الوكيل تعليمات اللغة في بيئة ثلاثية الأبعاد مستمرة. يوفر قسم “التحقق غير المرئي” بيئات لقياس التعميم. يسجل المعيار الوكلاء بمعدل النجاح، ومعدل نجاح Oracle، والنجاح الموزون بطول المسار، وخطأ التنقل.

لقد سجل معدل نجاح بنسبة 79.4٪ عند التحقق من الصحة. لقد حصل على 76.6٪ عند التحقق من الصحة غير المرئي. علاوة على ذلك، فهو يتفوق على أفضل نهج للكاميرا الواحدة بمقدار 9.7 نقطة. كما أنه يتفوق على أفضل نظام عمق أو نظام متعدد الكاميرات بمقدار 4.5 نقطة.

جدول المقارنة

لوضع هذه النتائج في سياقها، يقارن الجدول أدناه بين Robostral Navigate وأنظمة الاستشعار المتعددة النموذجية.

يصف العمود الأيمن الممارسة الشائعة في التنقل بالرؤية واللغة، وليس نظامًا واحدًا محددًا.

استخدام الحالات مع الأمثلة

ونظرًا لهذه السمات، تصبح العديد من التطبيقات عملية. في التصنيع، يمكن للروبوت أن يحمل الأجزاء بين المحطات من تعليمات واحدة. في مجال التسليم والخدمات اللوجستية، يمكن للروبوت ذو العجلات نقل الطرود عبر المستودع. في مجال الضيافة، يمكن للروبوت أن يرشد الضيف من الردهة إلى الغرفة. نظرًا لأن النموذج يعمل على روبوتات ذات عجلات وأرجل وطائرات، فيمكن لأسطول واحد مشاركته. بالإضافة إلى ذلك، تظل قوية في مواجهة الاختلافات في جوهر الكاميرا عبر تلك الروبوتات.

طريقة عرض التعليمات البرمجية المبسطة

لجعل حلقة الإشارة ملموسة، يُظهر الكود الزائف أدناه مسار القرار. إنها توضيحية وليست واجهة برمجة التطبيقات الرسمية.

obs_history = []      # past RGB frames
instruction = "Leave the lobby, walk to the second shelf, stop."
done = False

while not done:
    frame = camera.read()          # single RGB image
    obs_history.append(frame)
    action = model.predict(instruction, obs_history)

    if action.type == "point":     # target visible in view
        robot.move_to_pixel(action.x, action.y, action.heading)
    else:                          # target out of field of view
        robot.move_local(action.forward_m, action.left_m, action.turn_deg)

    done = action.stop

الوجبات السريعة الرئيسية

• Robostral Navigate هو نموذج ملاحي مجسم 8B من Mistral AI.
• يصل إلى 76.6% عند التحقق من صحة R2R-CE غير مرئي باستخدام كاميرا RGB واحدة.
• تشير الإشارة إلى توقع وحدات البكسل المستهدفة؛ يغطي احتياطي النزوح المحلي الأهداف غير المرئية.
• يؤدي التخزين المؤقت للبادئة إلى خفض رموز التدريب بمقدار 22×، مما يحول أشهر التدريب إلى أيام.
• أضاف التعلم المعزز عبر الإنترنت من CISPO معدل نجاح إضافي قدره 3.2%، تم تأطيره كخطوة نحو وكيل متجسد موحد.

تحقق من التفاصيل الفنية. أيضا، لا تتردد في متابعتنا على تغريد ولا تنسى الانضمام إلينا 150 ألف + مل والاشتراك في النشرة الإخبارية لدينا. انتظر! هل أنت على برقية؟ الآن يمكنك الانضمام إلينا على التليجرام أيضًا.

هل تحتاج إلى الشراكة معنا للترويج لصفحة GitHub Repo أو صفحة الوجه المعانقة أو إصدار المنتج أو الندوة عبر الويب وما إلى ذلك؟ تواصل معنا