يحتاج معظم الوكلاء الذين يتعلمون من الفيديو إلى معرفة الإجراء الذي أدى إلى كل إطار. تجادل شركة Induction Labs بأن هذا المتطلب هو عنق الزجاجة. في الأسبوع الماضي، أطلقوا سراحهم نماذج الخيال، وهي بنية نموذجية أساسية يتم تدريبها مسبقًا على الفيديو الخام بدون تسميات إجراء على الإطلاق.
نظام الاختبار الخاص بهم هو الفوتون-1، محول متناثر 106B-A5B من خليط الخبراء (MoE) تم تدريبه على 18 عامًا من الفيديو التوضيحي للكمبيوتر. في اختبار داخلي لاستخدام الكمبيوتر، تشير Induction Labs إلى أن Photon-1 يتفوق على Gemini 3.1 Flash-Lite مع استخدام حوسبة أقل بكثير للتدريب المسبق وتكلفة أقل بثلاث مرات تقريبًا للخدمة.
ما يفعله نموذج الخيال في الواقع
يتنبأ نموذج الخيال بالإطارات المستقبلية بشكل انحداري باستخدام أ التنبؤ بالرمز الكامن التالي موضوعي. لا يقوم بإنشاء بكسلات أثناء التدريب المسبق. تم تصميم كل شيء في مساحة التمثيل المستفادة.
الادعاء المهم هو أن التنبؤ بالحالات المستقبلية يعلم النموذج إكمال المهام، على الرغم من أنه لا يرى أي إجراء أثناء التدريب المسبق. مختبرات التعريفي تسمي هذا بـ سياسة ضمنية. يتعلم النموذج مفاهيم ما يفعله الشخص، بدلاً من تسمية كل نقرة بالماوس.
خدعة الضغط التي تجعلها واسعة النطاق
تعتمد الهندسة المعمارية على برنامج تشفير الرؤية الذي يستخدمه التكميم العددي المحدود (FSQ). يتم ضغط كل إطار إلى 960 رمزًا منفصلاً. كل رمز هو ناقل ذو 8 أبعاد. يأخذ كل بعد واحدة من خمس قيم: −1، −1/2، 0، 1/2، 1. وهذا يعطي كتاب رموز مكون من 5⁸ رموز محتملة.
يبلغ حجم الترميز الناتج حوالي 2.2 كيلو بايت لكل إطار. تقارير المختبرات التعريفية أكثر من 100× ضغط أفضل من تمثيلات التعرف الضوئي على الحروف (OCR) والنماذج المتعددة الوسائط الحالية، مع الحفاظ على تغييرات النص والتخطيط والحالة.
للوصول إلى هذا المعدل، يستخدم الفوتون-1 أ التشفير الكامن التفاضلي. يقوم بتشفير إطارات الفيديو كأزواج، وبالتالي فإن العناصر الكامنة تصف الاختلافات بين الإطارات بدلاً من محتويات الإطار.