نماذج الفيديو هي متعلمون ومستنتجون بدون تدريب

Google Google DeepMind

الملخص

يُظهر Veo 3 قدرات ناشئة بدون تدريب عبر العديد من المهام البصرية، مما يشير إلى أن نماذج الفيديو في طريقها لتصبح نماذج أساسية للرؤية—تمامًا مثلما أصبحت نماذج اللغة الكبيرة نماذج أساسية للغة.

الإدراك

النمذجة

المعالجة

الاستدلال

الملخص

لقد دفعت القدرات الرائعة بدون تدريب لنماذج اللغة الكبيرة (LLMs) معالجة اللغة الطبيعية من نماذج خاصة بالمهام إلى نماذج أساسية موحدة وعامة. نشأ هذا التحول من بدائيات بسيطة: نماذج كبيرة وتوليدية مدربة على بيانات بمقياس الويب. من الغريب أن نفس البدائيات تنطبق على نماذج الفيديو التوليدية اليوم. هل يمكن أن تكون نماذج الفيديو على مسار نحو فهم الرؤية متعددة الأغراض، تمامًا كما طورت نماذج اللغة الكبيرة فهماً للغة متعدد الأغراض؟

يُظهر هذا البحث أن Veo 3 يمكنه حل بدون تدريب مجموعة واسعة من المهام التي لم يتم تدريبه عليها صراحةً: تقسيم الأشياء، واكتشاف الحواف، وتحرير الصور، وفهم الخصائص الفيزيائية، والتعرف على قدرات الأشياء، ومحاكاة استخدام الأدوات، وأكثر من ذلك بكثير. هذه القدرات على إدراك ونمذجة ومعالجة العالم البصري تمكّن أشكالاً مبكرة من الاستدلال البصري مثل حل المتاهات والتماثل. تشير قدرات Veo 3 الناشئة بدون تدريب إلى أن نماذج الفيديو في طريقها لتصبح نماذج أساسية للرؤية موحدة وعامة.