MatAnyone 2: حقبة جديدة من عزل الفيديو بالذكاء الاصطناعي
في مجال ما بعد إنتاج الفيديو، كان التصوير التقليدي بالشاشة الخضراء (الكروما) لفترة طويلة هو المعيار لإزالة الخلفية بجودة عالية. ولكن مع التطور السريع لتكنولوجيا الذكاء الاصطناعي، يتم تغيير هذه القاعدة تمامًا. يتيح برنامج MatAnyone 2، الذي تم إطلاقه بشكل مشترك من قبل MMLab@NTU (S-Lab) و SenseTime، عزلًا دقيقًا من الدرجة التجارية دون الحاجة إلى شاشات خضراء أو استوديوهات أو إضاءة احترافية.
القفزة الكبيرة من MatAnyone إلى MatAnyone 2
لقد تفوق MatAnyone (CVPR 2025) بالفعل في عزل الفيديو لأهداف محددة باستخدام النشر المتسق للذاكرة (Consistent Memory Propagation). يعمل MatAnyone 2 (CVPR 2026) على ترقية هذا بشكل منهجي لحل السيناريوهات المعقدة في العالم الحقيقي.
مقيّم جودة العزل المُتعلّم (MQE)
'مفتش جودة' على مستوى البكسل تم تعلمه أثناء التدريب. يوفر إشرافًا دقيقًا لمناطق الحدود ويقوم تلقائيًا بتصفية عينات العالم الحقيقي عالية الجودة أثناء تنسيق البيانات. تحسنت جودة تفاصيل الحدود بنسبة تزيد عن 27%.
مجموعة بيانات ضخمة من العالم الحقيقي: VMReal
تحتوي على 28000 مقطع فيديو و 2.4 مليون إطار، وهو ما يتجاوز بكثير مجموعات البيانات الاصطناعية السابقة. يعزز هذا بشكل كبير من قدرات تعميم النموذج في سيناريوهات العالم الحقيقي الصعبة مثل الإضاءة الخلفية، والخلفيات المزدحمة، والحركة السريعة.
استراتيجية الإطار المرجعي بعيد المدى
يقدم إطارات مرجعية بعيدة لمساعدة النموذج على تذكر المظهر الأصلي للهدف. يتجنب الوميض أو الانقطاعات الشائعة عند مواجهة انسدادات مفاجئة أو تغييرات كبيرة في المظهر في مقاطع الفيديو الطويلة.
رد فعل المجتمع: "ماتت الشاشة الخضراء"
منذ فتح المصدر في مارس 2026، كانت تعليقات المجتمع غامرة:
- يُظهر الشعر، وثنيات الملابس، والمناطق شبه الشفافة 'حواف خام' حقيقية بدلاً من الخطوط العريضة لتقسيم الصور القاسية.
- تُظهر مقاطع الفيديو الطويلة التي تتراوح من عشرات الثواني أو حتى الدقائق تناسقًا زمنيًا قويًا مع عدم وجود وميض مرئي تقريبًا.
- حتى الصور الشخصية ذات الإضاءة الخلفية والمشاهد الداخلية المعقدة التي يتم التقاطها بشكل عرضي على الهواتف المحمولة تنتج قنوات ألفا ذات جودة احترافية.
كيفية تجربة MatAnyone 2 بسرعة
أسهل طريقة: العرض التوضيحي عبر الإنترنت
قم بزيارة العرض التوضيحي الرسمي Hugging Face Gradio Demo، وقم بتحميل مقطع فيديو وقناع تقريبي للإطار الأول (عبر SAM2، Grounding DINO، إلخ)، وشاهد النتائج في ثوانٍ إلى دقائق.
Launch Gradio Demoالنشر المحلي
بالنسبة للمستخدمين الذين لديهم وحدات معالجة رسومات (GPUs)، قم باستنساخ مستودع GitHub وقم بتشغيل الاستدلال محليًا باستخدام Python و PyTorch.
git clone https://github.com/pq-yang/MatAnyone2
cd MatAnyone2
pip install -r requirements.txt
python inference_matanyone2.py -i input.mp4الغوص العميق في التفاصيل التقنية
يتحول MatAnyone 2 (CVPR 2026, arXiv: 2512.11782) من الاعتماد على مجموعات بيانات اصطناعية ضخمة نحو بيانات واقعية واسعة النطاق + إشراف جودة مُتعلّم.
1. أساس البنية
وراثة نموذج نشر الذاكرة (Memory Propagation) من سابقه. سير العمل الأساسي: التشفير -> قراءة الذاكرة -> محول الكائنات -> فك التشفير -> قناة ألفا (Alpha Matte). تتيح وحدة دمج الذاكرة المتكيفة مع المنطقة نشرًا مخصصًا للمناطق الأساسية مقابل المناطق الحدودية.
2. الابتكار الأساسي: MQE
شبكة خفيفة الوزن تقيم جودة ألفا مات على مستوى البكسل دون الحاجة للحقيقة الأرضية (ground truth). يقيم كلا من الجودة الدلالية وجودة الحدود. يتيح 'التعليقات عبر الإنترنت' لحساب الفقد الانتقائي و 'التنسيق غير المتصل' لبناء مجموعة بيانات VMReal.
3. مجموعة البيانات: VMReal
حوالي 28000 مقطع / 2.4 مليون إطار. تم بناؤه عبر مسار تعليق تلقائي مزدوج الفروع باستخدام أفضل نموذج فيديو (للاستقرار الزمني) وأفضل نموذج صورة (لتفاصيل الحدود)، مدمجة معًا باستخدام MQE.
4. استراتيجية الإطار المرجعي
يحل النسيان الكارثي في مقاطع الفيديو الطويلة عبر البحث في الذاكرة السياقية بعيدة المدى، مما يحسن بشكل كبير من متانة الفيديو الطويل دون إضافة عبء إضافي لذاكرة الاستدلال.
5. الفقدان والإشراف
يجمع بين فقدان العزل المقنع (فقط على وحدات البكسل الموثوقة المميزة بـ MQE) وفقدان تقييم MQE لتوفير إرشادات شاملة على مستوى البكسل.
6. أبرز الأداء
أحدث ما توصلت إليه التكنولوجيا (SOTA) عبر المعايير الاصطناعية ومجموعات اختبار العالم الحقيقي. مقاييس التدرج والاتصال متقدمة بشكل كبير، مع وميض يقترب من الصفر ومعالجة خالية من العيوب للكائنات شبه الشفافة.
ملخص
يدفع MatAnyone 2 عملية عزل الفيديو إلى مرحلة "جاهز للاستخدام". فهو يحقق قفزة نوعية ليس فقط في المقاييس الفنية ولكن أيضًا في قابلية الاستخدام والمتانة. لم تعد إزالة الخلفية قيدًا قبل الإنتاج، ولكنها "سحر" متاح بسهولة بعد الإنتاج.