يقوم النسخ التلقائي للموسيقى (AMT) بتحويل التسجيل الصوتي إلى ملاحظات رمزية، عادةً MIDI. النسخ بأداة واحدة يعمل بالفعل بشكل جيد إلى حد معقول. ومع ذلك، يظل نسخ مزيج كامل من الآلات المتعددة أمرًا صعبًا. تم إطلاق سراح فريق Kyutai وMirelo الآن MuScriptor لسد تلك الفجوة. إنه نموذج ذو وزن مفتوح تم تدريبه على تسجيلات حقيقية متعددة الآلات عبر العديد من الأنواع.
تشرح هذه المقالة كيفية عمل MuScriptor، وما تظهره المعايير، وكيفية تشغيله.
ما هو MuScriptor؟
يعد MuScriptor في جوهره محولًا لوحدة فك التشفير فقط لنسخ الموسيقى. أولاً، يقرأ مخططًا طيفيًا ميليًا لمقطع صوتي قصير. ثم يتنبأ بشكل انحداري بالرموز المميزة المشابهة لـ MIDI من حيث درجة الصوت والتوقيت والأداة. في الواقع، يصبح النسخ مهمة لنمذجة اللغة، باتباع نظام الترميز MT3.
يشحن الإصدار ثلاثة أنواع مختلفة من الوزن على Hugging Face. أحجامها هي small (103 م)، medium (307M، افتراضي)، و large (1.4 ب). يستخدم رمز الاستدلال ترخيص MIT. تستخدم الأوزان CC BY-NC 4.0، لذا فإن الاستخدام التجاري مقيد.
كيف يعمل خط الأنابيب ثلاثي المراحل
الفكرة الرئيسية لـ MuScriptor هي البيانات، وليس الهندسة المعمارية. وبناء على ذلك، يمر التدريب بثلاث مراحل، كل منها تبنى على الأخيرة.
- استخدامات ما قبل التدريب دمركب، ما يقرب من 1.45 مليون ملف MIDI. يقوم خط أنابيب سريع بتجميعها أثناء التدريب. تشمل التعزيزات تغيير درجة الصوت، وتغييرات الإيقاع، وتعديل السرعة، والتوزيع العشوائي للأداة. أكثر من 250 خطًا صوتيًا بالإضافة إلى التفكيك العشوائي ينتج عنه تحقيقات صوتية لا نهائية تقريبًا.
- استخدامات الضبط الدقيق دحقيقي، مجموعة داخلية مكونة من 170.000 تسجيل. يبلغ مجموعها معًا أكثر من 11000 ساعة مع التعليقات التوضيحية المتوافقة. تأتي معظم المحاذاة من التزامن الصوتي الرمزي باستخدام الاستيفاء والتزييف الزمني الديناميكي. تتم تصفية الأزواج الضعيفة عن طريق مسافة التزييف والحد الأقصى لعامل تمدد الوقت.
- استخدامات تعزيز التعلم بعد التدريب دRL، 300 مقطع تم التحقق منه يدويًا. يطبق الفريق طريقة تشبه GRPO تجمع بين REINFORCE وتطبيع الميزة النسبية للمجموعة. تجمع المكافأة ثلاث درجات F: البداية، والإطار، والإزاحة. ونتيجة لذلك، يتعلم النموذج تفضيل النسخ الأنظف.