MatAnyone 2: AI वीडियो मैटिंग का नया युग
वीडियो पोस्ट-प्रोडक्शन के क्षेत्र में, उच्च गुणवत्ता वाले बैकग्राउंड रिमूवल के लिए पारंपरिक ग्रीन स्क्रीन शूटिंग लंबे समय से एक मानक रही है। लेकिन AI तकनीक के तेजी से विकास के साथ, यह नियम पूरी तरह से बदल रहा है। MMLab@NTU (S-Lab) और SenseTime द्वारा संयुक्त रूप से लॉन्च किया गया MatAnyone 2, बिना ग्रीन स्क्रीन, स्टूडियो या पेशेवर लाइटिंग के कमर्शियल-ग्रेड फाइन मैटिंग को संभव बनाता है।
MatAnyone से MatAnyone 2 तक की बड़ी छलांग
MatAnyone (CVPR 2025) ने कंसिस्टेंट मेमोरी प्रोपेगेशन का उपयोग करके टारगेट-स्पेसिफिक वीडियो मैटिंग में पहले ही उत्कृष्ट प्रदर्शन किया था। MatAnyone 2 (CVPR 2026) वास्तविक दुनिया के जटिल परिदृश्यों को हल करने के लिए इसे व्यवस्थित रूप से अपग्रेड करता है।
लर्न्ड मैटिंग क्वालिटी इवैल्यूएटर (MQE)
प्रशिक्षण के दौरान सीखा गया एक पिक्सेल-लेवल 'क्वालिटी इंस्पेक्टर'। यह सीमा क्षेत्रों (boundary areas) के लिए सटीक निगरानी प्रदान करता है और डेटा क्यूरेशन के दौरान स्वचालित रूप से उच्च गुणवत्ता वाले वास्तविक दुनिया के नमूनों को फ़िल्टर करता है। सीमा विवरण की गुणवत्ता में 27% से अधिक का सुधार हुआ है।
विशाल रियल-वर्ल्ड डेटासेट: VMReal
इसमें 28,000 वीडियो क्लिप और 2.4 मिलियन फ्रेम हैं, जो पुराने सिंथेटिक डेटासेट से कहीं आगे है। यह बैकलिट (backlighting), अव्यवस्थित बैकग्राउंड और तेज़ गति जैसी चुनौतीपूर्ण वास्तविक दुनिया की स्थितियों में मॉडल की सामान्यीकरण क्षमताओं को काफी बढ़ा देता है।
लॉन्ग-रेंज रेफरेंस-फ्रेम स्ट्रैटेजी
दूर के रेफरेंस फ्रेम पेश करता है ताकि मॉडल विषय के मूल स्वरूप को याद रख सके। यह लंबे वीडियो में अचानक रुकावट या बड़े बदलावों का सामना करते समय आम झिलमिलाहट या विच्छेदन से बचाता है।
समुदाय की प्रतिक्रिया: "ग्रीन स्क्रीन मर चुकी है"
मार्च 2026 में ओपन-सोर्स होने के बाद से, समुदाय की प्रतिक्रिया जबरदस्त रही है:
- बाल, कपड़े की तहें, और अर्ध-पारदर्शी क्षेत्र कठोर विभाजन रूपरेखा के बजाय वास्तविक 'कच्चे किनारे' दिखाते हैं।
- दर्जनों सेकंड या मिनटों के लंबे वीडियो मजबूत लौकिक स्थिरता (temporal consistency) प्रदर्शित करते हैं, जिनमें लगभग कोई दिखाई देने वाली झिलमिलाहट नहीं होती है।
- यहां तक कि बैकलिट पोर्ट्रेट और मोबाइल फोन पर लापरवाही से शूट किए गए जटिल इनडोर दृश्य भी पेशेवर-ग्रेड अल्फा चैनल प्रदान करते हैं।
MatAnyone 2 का तुरंत अनुभव कैसे करें
सबसे आसान तरीका: ऑनलाइन डेमो
आधिकारिक हगिंग फेस ग्रैडियो डेमो पर जाएं, एक वीडियो और रफ फर्स्ट-फ्रेम मास्क (SAM2, Grounding DINO आदि के माध्यम से) अपलोड करें, और सेकंड से मिनटों में परिणाम देखें।
Launch Gradio Demoलोकल डिप्लॉयमेंट
GPU वाले उपयोगकर्ताओं के लिए, GitHub रिपॉजिटरी को क्लोन करें और Python और PyTorch के साथ स्थानीय रूप से अनुमान (inference) चलाएं।
git clone https://github.com/pq-yang/MatAnyone2
cd MatAnyone2
pip install -r requirements.txt
python inference_matanyone2.py -i input.mp4तकनीकी विवरणों में गहरा गोता
MatAnyone 2 (CVPR 2026, arXiv: 2512.11782) बड़े पैमाने पर सिंथेटिक डेटासेट पर निर्भर होने के बजाय बड़े पैमाने पर वास्तविक दुनिया के डेटा + सीखी गई गुणवत्ता निगरानी की ओर मुड़ता है।
1. आर्किटेक्चर फाउंडेशन
अपने पूर्ववर्ती से मेमोरी प्रोपेगेशन प्रतिमान (paradigm) को प्राप्त करना। मुख्य वर्कफ़्लो: एनकोडर -> मेमोरी रीडआउट -> ऑब्जेक्ट ट्रांसफॉर्मर -> डिकोडर -> अल्फा मैट। रीज़न-अडैप्टिव मेमोरी फ्यूज़न मॉड्यूल कोर बनाम सीमा क्षेत्रों के लिए अनुकूलित प्रसार को सक्षम बनाता है।
2. मुख्य नवाचार: MQE
एक हल्का नेटवर्क जो ग्राउंड ट्रुथ के बिना पिक्सेल स्तर पर अल्फा मैट की गुणवत्ता का मूल्यांकन करता है। यह सिमेंटिक गुणवत्ता और सीमा गुणवत्ता दोनों का आकलन करता है। यह चयनात्मक हानि गणना के लिए 'ऑनलाइन फीडबैक' और VMReal डेटासेट बनाने के लिए 'ऑफ़लाइन क्यूरेशन' को सक्षम बनाता है।
3. डेटासेट: VMReal
लगभग 28,000 क्लिप / 2.4 मिलियन फ्रेम। बेस्ट वीडियो मॉडल (लौकिक स्थिरता के लिए) और बेस्ट इमेज मॉडल (सीमा विवरण के लिए) का उपयोग करके एक दोहरे-शाखा ऑटो-एनोटेशन पाइपलाइन के माध्यम से निर्मित, जिसे MQE का उपयोग करके एक साथ जोड़ा गया है।
4. रेफरेंस-फ्रेम स्ट्रैटेजी
लॉन्ग-रेंज प्रासंगिक मेमोरी लुकअप के माध्यम से लंबे वीडियो में भयावह भूलने की समस्या (catastrophic forgetting) को हल करता है, जिससे अनुमान मेमोरी ओवरहेड जोड़े बिना लंबे वीडियो की मजबूती में भारी सुधार होता है।
5. लॉस और निगरानी
व्यापक पिक्सेल-स्तर मार्गदर्शन प्रदान करने के लिए एक मास्क्ड मैटिंग लॉस (केवल MQE-चिह्नित विश्वसनीय पिक्सेल पर) और एक MQE इवैल्यूएशन लॉस को जोड़ता है।
6. प्रदर्शन हाइलाइट्स
सिंथेटिक बेंचमार्क और वास्तविक दुनिया के परीक्षण सेटों में स्टेट-ऑफ-द-आर्ट। ढाल और कनेक्टिविटी मैट्रिक्स काफी आगे हैं, जिसमें लगभग शून्य झिलमिलाहट और अर्ध-पारदर्शी वस्तुओं की दोषरहित हैंडलिंग है।
सारांश
MatAnyone 2 वीडियो मैटिंग को "आउट-ऑफ-द-बॉक्स" चरण में धकेलता है। यह न केवल तकनीकी मैट्रिक्स में बल्कि प्रयोज्यता और मजबूती में भी एक गुणात्मक छलांग लगाता है। बैकग्राउंड हटाना अब प्री-प्रोडक्शन की बाधा नहीं है, बल्कि आसानी से उपलब्ध पोस्ट-प्रोडक्शन "जादू" है।