أطلقت OctoML OctoAI ، وهي خدمة حوسبة ذاتية التحسين للذكاء الاصطناعي

عندما تم إطلاق OctoML في عام 2019 ، كان تركيزها الأساسي هو تحسين نماذج التعلم الآلي (ML). منذ ذلك الحين ، أضافت الشركة ميزات تسهل نشر نماذج ML (وجمعت 132 مليون دولار). اليوم ، تطلق الشركة أحدث تكرار لخدماتها – وعلى الرغم من أنها ليست محورية تمامًا ، إلا أنها تحول تركيز الشركة من تحسين النماذج إلى مساعدة الشركات على استخدام النماذج مفتوحة المصدر الحالية وضبطها باستخدام بياناتها الخاصة أو استخدامها. خدمة استضافة النماذج المخصصة الخاصة بهم. منصة OctoML الجديدة – يطلق عليها اسم OctoAI – هي خدمة حوسبة ذاتية التحسين للذكاء الاصطناعي ، مع التركيز بشكل خاص على الذكاء الاصطناعي التوليدي ، الذي يساعد الشركات على بناء تطبيقات قائمة على ML ووضعها في الإنتاج دون الحاجة إلى القلق بشأن البنية التحتية الأساسية.

أوضح المؤسس المشارك والرئيس التنفيذي لشركة OctoML Luis Ceze: “ركزت المنصة السابقة على مهندسي ML وتحسين النماذج وتعبئتها في حاويات يمكن نشرها عبر مجموعات مختلفة من الأجهزة”. “لقد تعلمنا الكثير من ذلك ، ولكن التطور الطبيعي التالي هو أن تكون لدينا خدمة حوسبة مُدارة بالكامل تلخص كل ذلك [ML infrastructure] بعيد.”

اعتمادات الصورة: OctoML

مع OctoAI ، يقرر المستخدمون ببساطة ما يريدون تحديده حسب الأولوية (فكر في وقت الاستجابة مقابل التكلفة) وسيقوم OctoAI تلقائيًا باختيار الأجهزة المناسبة لهم. ستعمل الخدمة أيضًا على تحسين هذه النماذج تلقائيًا (مما يؤدي إلى توفير إضافي في التكاليف ومكاسب في الأداء) وتحديد ما إذا كان من الأفضل تشغيلها على وحدات معالجة الرسومات Nvidia أو أجهزة Inferentia من AWS. هذا يزيل الكثير من تعقيد وضع النماذج في الإنتاج ، وهو الشيء الذي لا يزال في كثير من الأحيان عقبة أمام العديد من مشاريع ML. يمكن للمستخدمين الذين يرغبون في التحكم الكامل في كيفية تشغيل نماذجهم ، بالطبع ، تعيين المعلمات الخاصة بهم وتحديد الأجهزة التي يجب تشغيلها عليها. ومع ذلك ، تعتقد Ceze أن معظم المستخدمين سيختارون السماح لـ OctoAI بإدارة كل هذا نيابة عنهم.

اعتمادات الصورة: OctoML

من المفيد أيضًا أن تقدم OctoML إصدارات متسارعة من نماذج الأساس الشائعة مثل Dolly 2 و Whisper و FILM و FLAN-UL2 و Stable Diffusion خارج الصندوق ، مع المزيد من الطرز في الطريق. تمكنت OctoML من تشغيل Stable Diffusion أسرع ثلاث مرات وتقليل التكلفة بمقدار 5x مقارنة بتشغيل نموذج الفانيليا.

تجدر الإشارة إلى أنه بينما ستواصل OctoML العمل مع العملاء الحاليين الذين يرغبون فقط في استخدام الخدمة لتحسين نماذجهم ، فإن تركيز الشركة في المستقبل سيكون على منصة الحوسبة الجديدة هذه.