تغمر الشاشة الخضراء المدعومة بالذكاء الاصطناعي من Netflix الممثلين باللون الأرجواني الحارق للعين

إن عملية التركيب ، أو وضع الممثلين أمام خلفية ليست موجودة في الواقع ، قديمة قدم صناعة الأفلام نفسها – ودائماً ما كانت صعبة. لدى Netflix تقنية جديدة تعتمد على التعلم الآلي للقيام ببعض الأعمال الشاقة ، ولكنها تتطلب ممثلين للإضاءة بلون أرجواني متوهج.

لعقود من الزمان ، كانت أبسط طريقة للتركيب هي مفتاح الكروما ، حيث يقف الممثلون أمام خلفية ملونة زاهية (في الأصل زرقاء ، ثم خضراء لاحقًا) يمكن التعرف عليها بسهولة واستبدالها بأي شيء من خريطة الطقس إلى معركة مع ثانوس. يُقال أن المقدمة “غير متماسكة” والخلفية عبارة عن قناة “ألفا” شفافة يتم التلاعب بها جنبًا إلى جنب مع القنوات الحمراء والخضراء والزرقاء.

إنه سهل ورخيص ، ولكن هناك بعض الجوانب السلبية لذلك ، من بينها مشاكل الأشياء الشفافة ، والتفاصيل الدقيقة مثل الشعر ، وبالطبع أي شيء آخر له لون مشابه للخلفية. عادة ما تكون جيدة بما فيه الكفاية ، على الرغم من أن محاولات استبدالها بطرق أكثر تطوراً وباهظة الثمن (مثل كاميرا مجال الضوء) قد ضعفت.

يقوم باحثو Netflix بأخذ لقطة لها ، على الرغم من ذلك ، بمزيج من القديم والجديد الذي يمكن أن يجعل التركيب بسيطًا ونقيًا – على حساب إعداد الإضاءة الجهنمية.

كما هو موضح في بحث نُشر مؤخرًا ، فإن “الشاشة الخضراء ذات اللون الأرجواني” تنتج نتائج مبهرة من خلال وضع الممثلين في شطيرة إضاءة. خلفهم ، أخضر ساطع (مضاء بنشاط ، وليس خلفية) ؛ في المقدمة ، مزيج من الأحمر والأزرق ، مما يجعل الألوان متناقضة بشكل كبير.

أضاء الممثلون باللون الأرجواني مقابل شاشة خضراء. اعتمادات الصورة: نيتفليكس

من المحتمل أن يجعل المظهر الناتج عند التصوير حتى أكثر الفنانين خبرة في مرحلة ما بعد الإنتاج يرفضون. عادةً ما تريد أن تضيء ممثليك بشكل ساطع بضوء طبيعي إلى حد ما ، لذلك على الرغم من أنهم قد يحتاجون إلى القليل من الضرب هنا وهناك ، فإن مظهرهم داخل الكاميرا طبيعي نسبيًا. ولكن إذا كانت مضاءة حصريًا بالضوء الأحمر والأزرق ، فإنها تشوه المظهر تمامًا ، نظرًا لأن الضوء الطبيعي بالطبع لا يحتوي على جزء كبير من طيفه المقطوع.

لكن التقنية أيضًا ذكية في ذلك من خلال جعل المقدمة باللون الأحمر / الأزرق فقط والخلفية خضراء فقط ، فهي تبسط عملية الفصل بين الاثنين. تلتقط الكاميرا العادية التي عادةً ما تلتقط تلك الألوان بدلاً من ذلك الأحمر والأزرق والألفا. هذا يجعل الأجزاء الناتجة دقيقة للغاية ، وتفتقر إلى القطع الأثرية التي تأتي من الاضطرار إلى فصل مدخلات الطيف الكامل عن الخلفية الرئيسية ذات الطيف المحدود.

بالطبع يبدو أنهم استبدلوا إحدى الصعوبات بأخرى: أصبحت عملية التركيب سهلة الآن ، لكن استعادة القناة الخضراء للأهداف ذات الإضاءة القرمزية أمر صعب.

يجب أن يتم ذلك بشكل منهجي وقابل للتكيف ، نظرًا لاختلاف الموضوعات والتركيبات ، ولكن النهج الخطي “الساذج” لحقن اللون الأخضر ينتج عنه مظهر باهت مصفر. كيف يمكن أن تكون مؤتمتة؟ منظمة العفو الدولية للإنقاذ!

قام الفريق بتدريب نموذج التعلم الآلي على بيانات التدريب الخاصة بهم ، وهي في الأساس لقطات “بروفة” لمشاهد مماثلة ، ولكنها مضاءة بشكل طبيعي. تُعطى الشبكة العصبية التلافيفية تصحيحات من الصورة كاملة الطيف لمقارنتها مع تلك المضاءة باللون الأرجواني ، وتطور عملية لاستعادة القناة الخضراء المفقودة بسرعة بطريقة أكثر ذكاءً من خوارزمية بسيطة.

تؤدي الخوارزمية البسيطة إلى نتائج سيئة (أعلى) بينما ينتج نموذج ML الأكثر تعقيدًا ألوانًا مشابهة جدًا للحقيقة الأساسية. اعتمادات الصورة: نيتفليكس

لذلك يمكن استعادة اللون جيدًا بشكل مدهش في المنشور (“لا يمكن تمييزه فعليًا” عن الحقيقة الأرضية داخل الكاميرا) – ولكن لا تزال هناك مشكلة الممثلين والمجموعة التي يجب أن تضيء بهذه الطريقة الرهيبة. يشتكي العديد من الممثلين بالفعل من أن العمل أمام شاشة خضراء أمر غير طبيعي – تخيل القيام بذلك أثناء الإضاءة في ضوء قاسي وغير إنساني.

تتناول الورقة هذا ، مع ذلك ، مع إمكانية “مضاعفة الوقت” للإضاءة ، بشكل أساسي تبديل الإضاءة الأرجواني / الأخضر وإيقاف تشغيلها عدة مرات في الثانية. يعد هذا الأمر مشتتًا (بل خطيرًا) لعمل 24 مرة في الثانية (أي معدل الإطارات الذي يتم تصوير معظم الأفلام والتلفزيون) ، ولكن إذا قاموا بتبديل الإضاءة بشكل أسرع – 144 مرة في الثانية – فإنه يبدو “ثابتًا تقريبًا”.

ومع ذلك ، يتطلب هذا مزامنة معقدة مع الكاميرا ، والتي يجب أن تلتقط الضوء فقط خلال اللحظات القصيرة التي يكون فيها المشهد أرجوانيًا. ويجب عليهم أيضًا حساب الإطارات المفقودة للحركة …

كما يمكنك أن تقول ، هذا لا يزال تجريبيًا للغاية. لكنها أيضًا طريقة مثيرة للاهتمام للتعامل مع مشكلة قديمة في الإنتاج الإعلامي بنهج جديد عالي التقنية. لم يكن هذا ممكنًا قبل خمس سنوات ، وعلى الرغم من أنه قد يتم اعتماده أو لا يتم اعتماده ، فمن الواضح أنه يستحق التجربة.