أصدرت NVIDIA DeepStream 9.1: جلب الذكاء الاصطناعي الوكيل إلى Vision AI مع 13 مهارة وتتبع ثلاثي الأبعاد متعدد العرض

نفيديا صدر للتو ديب ستريم 9.1. يستهدف التحديث مشكلة مستمرة في تحليلات الفيديو. يتطلب تتبع كائن واحد عبر العديد من الكاميرات عادةً معايرة الكاميرا اليدوية وحسابات معقدة. يعالج DeepStream 9.1 هذه المشكلة من خلال إضافتين: التتبع ثلاثي الأبعاد متعدد العرض (MV3DT) وAutoMagicCalib (AMC). كلاهما بمثابة مهارات وكيلة لوكلاء الترميز. ونتيجة لذلك، ينتقل المطورون من المفهوم إلى مسار التشغيل بشكل أسرع.

ما هو ديب ستريم 9.1

لفهم التحديث، ابدأ بالنظام الأساسي الأساسي. DeepStream هي مجموعة أدوات تحليلات البث من NVIDIA لفهم الفيديو والصور المستندة إلى الذكاء الاصطناعي. وهو يوفر إطارًا يستند إلى GStreamer للاستدلال متعدد النماذج ومتعدد التدفق على وحدات معالجة الرسومات NVIDIA. تجمع خطوط الأنابيب بين فك التشفير والتشفير المسرع للأجهزة، واستدلال TensorRT، وتتبع الكائنات، وتكامل وسيط الرسائل.

بناءً على هذه القاعدة، يضيف الإصدار 9.1 خمسة عناصر بارزة:

1. 13 مهارات وكيلة لوكلاء الترميز
2. مهارة MV3DT للتتبع عبر الكاميرات.
3. مهارة AMC للمعايرة التلقائية.
4. دعم NVIDIA JetPack 7.2 لأجهزة Jetson Orin وThor edge.
5. مستودع GitHub موحد مفتوح المصدر ضمن CC-BY-4.0 وApache-2.0.

كيف يتتبع MV3DT الكائنات عبر الكاميرات

من بين تلك الإضافات، تعد MV3DT هي المهارة الرئيسية، لذا فكر في كيفية عملها. في جوهره، يعرض MV3DT الاكتشافات من كاميرات متعددة تمت معايرتها في نظام إحداثيات ثلاثي الأبعاد مشترك. ثم يقوم بعد ذلك بربط ملاحظات نفس الكائن عبر عروض الكاميرا. وأخيرًا، يقوم بتعيين معرف كائن واحد متسق عالميًا.

وبشكل ملموس، يتم تدفق البيانات على أربع مراحل. من أجل الكشف، يقوم كل تيار كاميرا بتشغيل كاشف كائن. يدعم MV3DT ثلاثة نماذج جاهزة:

• PeopleNetTransformer: كاشف الأشخاص القائم على المحولات، وهو الإعداد الافتراضي لمشاهد المشاة.
• بيبول نت v2.6.3: كاشف عالي الكفاءة يعتمد على بنية DetectNet_v2.
• آرت-ديتر 2D: كاشف متعدد الفئات للمشاة والناقلين والرافعات الشوكية.

بعد ذلك، بالنسبة للإدراك ثلاثي الأبعاد أحادي العين، تستخدم كل كاميرا مصفوفة عرض 3×4 مخزنة في ملف معايرة YAML. يقوم هذا بإسقاط الصناديق المحيطة ثنائية الأبعاد في إحداثيات ثلاثية الأبعاد للفضاء العالمي باستخدام افتراض المستوى الأرضي. بعد ذلك، من أجل اقتران طرق العرض المتعددة، يقوم المتعقب بمشاركة المسارات باستخدام نقل القياس عن بعد لخدمة وضع الرسائل في قائمة انتظار (MQTT). MQTT هو بروتوكول مراسلة فرعي/نشر خفيف الوزن. عندما تراقب كاميرتان نفس الشخص، فإنها تطابق المسارات عن طريق القرب في مساحة العالم ثلاثية الأبعاد.

بعد الارتباط، تتدفق النتائج في ثلاثة أشكال. تعرض شاشة العرض على الشاشة (OSD) شبكة مبلطة بمربعات محيطة ثنائية وثلاثية الأبعاد. يعرض نظام Bird’s-Eye View (BEV) خريطة مسار من أعلى إلى أسفل. توفر رسائل كافكا بيانات تعريف أولية لكل إطار، بما في ذلك معرف المستشعر، ومعرف الكائن، والمربع المحيط ثلاثي الأبعاد.

كيف يقوم AutoMagicCalib بإزالة الإعداد اليدوي

يعتمد MV3DT على كاميرات تمت معايرتها، وهو ما يعني تقليديًا رقعة الشطرنج ووقت التوقف عن العمل. وبدلاً من ذلك، تقوم AMC بمعايرة الشبكة من خلال تحليل الكائنات المتعقبة في ملفات الفيديو أو التدفقات الموجودة. ويقدر المعلمات الجوهرية لكل كاميرا (البعد البؤري، النقطة الرئيسية، تشويه العدسة). كما يقوم أيضًا بتقدير المعلمات الخارجية (الدوران، والترجمة، والموقع العالمي).

تحت الغطاء، يمر خط الأنابيب بخمس مراحل. وهي عبارة عن استخراج مسار لكل كاميرا، وتصحيح العرض الفردي، ومطابقة المسار متعدد العروض، وتعديل الحزمة، وتحسين VGGT الاختياري. يساعد VGGT (المحول الأرضي للهندسة المرئية) عندما تكون حركة الكائن محدودة. تعمل AMC كخدمة صغيرة مع REST APIs وواجهة ويب. يقدم المستخدمون فقط صورة تخطيطية وبعض نقاط المحاذاة.

سير عمل مهارات الوكيل

مع تعريف MV3DT وAMC، فإن آلية التسليم هي المهارات نفسها. بدلاً من تحرير ملفات التكوين، يمكنك وصف النية باللغة الطبيعية. تعمل المهارات مع Claude Code وCodex وCursor والوكلاء المماثلين. الإعداد قصير:

git clone https://github.com/NVIDIA/DeepStream.git
cd DeepStream
# Copy skills into your agent's skill directory (Codex shown)
mkdir -p ~/.codex/skills
cp -r skills/* ~/.codex/skills/

بعد تشغيل الوكيل، يقوم موجه واحد بتشغيل التطبيق المرجعي:

deploy mv3dt on the 12-camera sample dataset

ومن هناك، تقوم مهارة MV3DT بالتحقق من صحة المتطلبات الأساسية، وسحب الحاوية، وتثبيت خدمات وسيط Kafka وMosquitto. كما يقوم أيضًا بتنزيل أوزان النماذج، وإنشاء تكوين المسار، وبدء التتبع. والجدير بالذكر أنه في حالة فقدان ملفات المعايرة، فإن ذلك يؤدي إلى تشغيل مهارات AMC تلقائيًا.

ديب ستريم 9.0 مقابل 9.1

للسياق، يوضح الجدول أدناه ما تغير بين الإصدارات.

استخدام الحالات مع الأمثلة

ونظرًا لهذه الإمكانات، يتم تعيين الميزات لعمليات نشر ملموسة:

• سلامة المستودعات: تتبع العامل بالقرب من الرافعات الشوكية عبر الممرات بمعرف واحد، باستخدام RT-DETR 2D.
• تحليلات البيع بالتجزئة: اتبع المتسوق بين مناطق الكاميرا لقياس وقت المكوث دون أخطاء في إعادة التحديد.
• مراقبة المباني الذكية: قم بإحصاء الإشغال عبر الطوابق وقم بتغذية بيانات تعريف كافكا إلى لوحات المعلومات.
• الروبوتات والمدن الذكية: مشاركة الإحداثيات العالمية المتسقة للملاحة ومراجعة الحوادث.

الشرح التفاعلي

لرؤية الآلية، يقوم العرض التوضيحي المضمن أدناه بتحريك شخص واحد يمشي بين مجالات الرؤية الثلاثة للكاميرا. قم بالتبديل بين التتبع البسيط ثنائي الأبعاد لكل كاميرا ودمج MV3DT ثلاثي الأبعاد لمشاهدة معرف الكائن يظل ثابتًا.

الوجبات السريعة الرئيسية

• ديب ستريم 9.1 يشحن 13 مهارات وكيلة، مما يسمح لوكلاء الترميز ببناء مسارات رؤية متعددة الكاميرات من مطالبات اللغة الطبيعية.
• MV3DT يدمج اكتشافات كل كاميرا في عالم ثلاثي الأبعاد مشترك، مع الاحتفاظ بمعرف كائن واحد متسق عالميًا عبر طرق العرض.
• AutoMagicCalib يستبدل معايرة رقعة الشطرنج اليدوية بتقدير جوهرية الكاميرا وظاهريتها من الفيديو الموجود.
• جيت باك 7.2 يمتد الدعم إلى Jetson Orin وThor، ضمن GitHub monorepo مفتوح المصدر.
• تيار المخرجات كما OSD، وعرض عين الطير، والبيانات التعريفية لـ Kafka protobuf، جاهز للتحليلات النهائية ولوحات المعلومات.

تحقق من الريبو هنا. أيضا، لا تتردد في متابعتنا على تغريد ولا تنسى الانضمام إلينا 150 ألف + مل والاشتراك في النشرة الإخبارية لدينا. انتظر! هل أنت على برقية؟ الآن يمكنك الانضمام إلينا على التليجرام أيضًا.

هل تحتاج إلى الشراكة معنا للترويج لصفحة GitHub Repo أو صفحة الوجه المعانقة أو إصدار المنتج أو الندوة عبر الويب وما إلى ذلك؟ تواصل معنا