فريق Kimi التابع لـ Moonshot AI وkvcache-ai مفتوح المصدر الوكيلENV (AENV)، منصة موزعة لتشغيل بيئات الوكيل على نطاق واسع. يقوم AgentENV بتشغيل التدريب على التعلم المعزز (RL) لـ كيمي ك3، نموذج Moonshot’s Mixture of Experts الذي يبلغ 2.8 تريليون معلمة. يتم شحن الرمز تحت عنوان رخصة معهد ماساتشوستس للتكنولوجيا.
لماذا تعيق البيئة Infra Agentic RL
لا يقوم Agentic RL بأخذ عينة من النص فقط. يتطلب النموذج أن يعمل داخل جهاز كمبيوتر حقيقي. يحتاج كل إصدار إلى بيئة Linux معزولة تحتوي على نظام ملفات، ومكدس شبكة، وعمليات مباشرة.
هذا الشرط يخلق مقايضة صعبة. تبدأ الحاويات بسرعة ولكنها تشترك في النواة المضيفة، مما يضعف عزل التعليمات البرمجية التي ينشئها النموذج. يتم عزل الأجهزة الافتراضية الكاملة بشكل صحيح ولكن يتم تشغيلها ببطء وتحتفظ بالذاكرة أثناء الخمول.
يستهدف AgentENV هذه الفجوة بالضبط. يقوم بتشغيل Firecracker microVMs، ثم يجعل الخمول وإعادة التشغيل والتفرع رخيصًا بما يكفي للتشغيل على نطاق التدريب.
داخل هندسة الألعاب النارية لـ AgentENV
كل صندوق حماية عبارة عن جهاز Firecracker microVM مع نواة Linux ونظام الملفات ومساحة اسم الشبكة الخاصة به. تصل الطلبات إلى واجهة برمجة تطبيقات Axum HTTP، والتي تقوم بإعادة التوجيه إلى المُنسق الذي يدير دورة حياة وضع الحماية.
التخزين هو المكان الذي يصبح فيه التصميم مثيرًا للاهتمام. يتم تقديم rootfs من خلال أ ublk جهاز حظر مساحة المستخدم مدعوم بـ تراكب صور الطبقات. تتم مشاركة الطبقات الأساسية للقراءة فقط عبر صناديق الحماية، ويكتب كل صندوق حماية في الطبقة العليا الخاصة به.
داخل كل ضيف، هناك شيطان يسمى envd يتعامل مع تنفيذ الأوامر وعمليات الملفات وإعداد التقارير الصحية على المنفذ 49983. يقوم الوكيل العكسي بتوجيه حركة مرور HTTP وWebSocket من العملاء إلى الخدمات التي تعمل داخل الجهاز الافتراضي.
يسرد المشروع أيضًا آليتين للكثافة. تتم مشاركة ذاكرة التخزين المؤقت للصفحة المضيفة عبر بيانات التخزين ولقطة الذاكرة. يؤدي تضخم الذاكرة إلى إرجاع ذاكرة الضيف القابلة للاسترداد إلى المضيف، مما يحافظ على الالتزام المفرط مع اختلاف البيئات بمرور الوقت.
لقطة، توقف مؤقت، استئناف، شوكة
هذه الميزات الأربعة هي سبب وجود المشروع. يلتقط AgentENV تغييرات في الذاكرة ونظام الملفات بشكل تدريجي بدلاً من كتابة صورة كاملة في كل مرة.
الأرقام المبلغ عنها هي كما يلي. يتم تشغيل البيئات المدعومة باللقطة أو استئنافها في الأسفل 50 مللي ثانية وتوقف في الأسفل 100 مللي ثانية. يكتمل التقاط اللقطة المتزايدة في الأسفل 100 مللي ثانية، حتى في ظل تعديل القرص الثقيل.
الشوكة هي الميزة الأكثر تحديدًا لـ RL. يمكن استنساخ صندوق الرمل قيد التشغيل ما يصل إلى 16 صندوق رمل مستقل للأطفال على نفس العقدة. يتوقف المصدر مؤقتًا لفترة وجيزة أثناء الالتقاط، ثم يستأنف. يرث كل طفل نظام الملفات المصدر والذاكرة وتكوين الموارد.
التأثير العملي هو أن الإعداد باهظ الثمن يعمل مرة واحدة. يمكن للفريق تثبيت التبعيات واستنساخ المستودع والوصول إلى حالة المهمة. ثم تتفرع هذه الحالة الدقيقة إلى عمليات طرح متوازية. تستمر اللقطات في تخزين الكائنات المتوافقة مع S3 أو نظام ملفات موزع مشترك.
هناك خطأ واحد جدير بالملاحظة. يحمل كل صندوق رمل TTL، ويؤدي انتهاء الصلاحية إلى تشغيل ملف يوقف، وليس حذفا. الحذف يتطلب المرور autoPause: false على إنشاء API.
التحميل عند الطلب ومستودع اللقطات
يتم تحميل الصور عند الطلب من خلال overlaybd. يعمل القرص المحلي كذاكرة تخزين مؤقت محدودة تحتفظ بالبيانات الساخنة وتطرد البيانات الباردة.
هذا ما يجعل القصة على مستوى الأسطول ناجحة. لا تحتاج العقد إلى تسخين كل صورة مسبقًا أو الاحتفاظ بنسخة كاملة من كل لقطة. وبالتالي يمكن لمجموعة الصور القابلة للعنونة أن تتجاوز سعة القرص المحلي بينما يظل بدء التشغيل سريعًا على مستوى المجموعة.
يتم تنظيم حالة اللقطة في ثلاث طبقات. تحتوي مساحة العمل المرحلية للمنشئ على قطع أثرية أثناء عملية الإنشاء. إن مستودع اللقطات الملتزم هو المصدر الدائم للحقيقة. تحتوي ذاكرة التخزين المؤقت لوقت التشغيل المحلي للعقدة على التكوينات المشتقة من وقت التشغيل.
يتم دعم واجهتين خلفيتين للمستودع: posix_fs (الافتراضي) و oss. ال oss يتم تشغيل المسار من خلال عميل مشترك متوافق مع S3، لذا فإن المسار واضح region مطلوب.
نقل اختياري من نظير إلى نظير يعتمد على iroh يمكن الإعلان عن القطع الأثرية المخصصة للعقد النظيرة. إنها معطل بشكل افتراضي. الوثائق واضحة أن P2P لا يغير نموذج اللقطة الملتزم به. بالنسبة للتخزين المشترك، تطلب المستندات ما لا يقل عن 1 جيجابت في الثانية وتوصي بشدة بـ 10 جيجابت في الثانية أو أسرع.
التوافق مع E2B هو أداة الاعتماد
يكشف AgentENV عن واجهة برمجة تطبيقات HTTP المتوافقة مع E2B. نقطة E2B_API_URL على الخادم الخاص بك ويعمل E2B Python أو TypeScript SDK الرسمي بدون تغييرات في التعليمات البرمجية.
هذا هو اختيار التوزيع المتعمد. يمكن للفرق التي تقوم بالفعل بتشغيل الوكلاء على E2B استضافة وقت التشغيل ذاتيًا دون إعادة كتابة رمز الوكيل الخاص بهم. مواطن aenv يتم أيضًا توفير واجهة سطر الأوامر (CLI)، وتوصي المستندات بذلك لعمليات سير العمل الخاصة بـ AgentENV.
مسارات النشر
المتطلبات الأساسية هي Linux kernel 6.8+ و /dev/kvm وصول؛ يتطلب البرنامج النصي للتثبيت أيضًا Ubuntu 24.04. ال aenv يدعم CLI Linux وmacOS على x86_64 وarm64. الخادم نفسه يعمل بنظام Linux فقط، لأنه يحتاج إلى KVM.
تم توثيق خمسة مسارات:
- برنامج نصي للتثبيت يقوم بتشغيل الخادم كخدمة systemd
- تم نشر صورة Docker على
ghcr.io/kvcache-ai/aenv-server - مكدس Docker Compose الذي يحاكي مجموعة متعددة العقد
- يظهر Kubernetes مع بوابة، وجدولة، وعقدة DaemonSet
- مسار إنشاء من المصدر باستخدام سلسلة أدوات Rust
تضيف عمليات النشر متعددة العقد أ بوابة على :8080 و أ جدولة على :9090.
الوجبات السريعة الرئيسية
- يغطي النشر تثبيت البرنامج النصي وDocker وDocker Compose وKubernetes؛ تم توثيق مستوى التحكم متعدد العقد كنموذج أولي.
- يقوم AgentENV بتشغيل كل بيئة وكيل باعتباره Firecracker microVM، وليس حاوية، لذا يكون العزل على مستوى kernel.
- يتم تشغيل تقارير المشروع أو استئنافها خلال أقل من 50 مللي ثانية، والتوقف مؤقتًا خلال أقل من 100 مللي ثانية، من اللقطات.
- يمكن لصندوق الحماية قيد التشغيل أن يتفرع إلى ما يصل إلى 16 طفلًا مستقلاً في نفس العقدة.
- واجهة برمجة تطبيقات HTTP متوافقة مع E2B، لذا فإن كود E2B Python وTypeScript SDK الحالي يعمل دون تغيير.
تحقق من مستودع GitHub والوثائق. كل الفضل في هذا البحث يعود إلى الباحثين في هذا المشروع.
آصف رزاق هو الرئيس التنفيذي لشركة Marktechpost Media Inc.. بصفته رجل أعمال ومهندسًا صاحب رؤية، يلتزم آصف بتسخير إمكانات الذكاء الاصطناعي لتحقيق الصالح الاجتماعي. وكان أحدث مساعيه هو إطلاق منصة وسائط الذكاء الاصطناعي، Marktechpost، والتي تتميز بتغطيتها المتعمقة لأخبار التعلم الآلي والتعلم العميق التي تتميز بأنها سليمة من الناحية التقنية وسهلة الفهم من قبل جمهور واسع. تتمتع المنصة بأكثر من 2 مليون مشاهدة شهريًا، مما يوضح شعبيتها بين الجماهير.
اكتشاف المزيد من كحيل | أخبار التقنية
اشترك للحصول على أحدث التدوينات المرسلة إلى بريدك الإلكتروني.
