Videomodelle sind Zero-Shot-Lerner und -Schlussfolgerer

Google Google DeepMind

Zusammenfassung

Veo 3 zeigt aufkommende Zero-Shot-Fähigkeiten über viele visuelle Aufgaben hinweg und deutet darauf hin, dass Videomodelle auf dem Weg sind, Vision-Foundation-Modelle zu werden—genau wie LLMs zu Foundation-Modellen für Sprache wurden.

Wahrnehmung

Modellierung

Manipulation

Schlussfolgerung

Zusammenfassung

Die bemerkenswerten Zero-Shot-Fähigkeiten großer Sprachmodelle (LLMs) haben die Verarbeitung natürlicher Sprache von aufgabenspezifischen Modellen zu einheitlichen, generalistischen Foundation-Modellen vorangetrieben. Diese Transformation entstand aus einfachen Primitiven: große, generative Modelle, die auf webweiten Daten trainiert wurden. Interessanterweise gelten dieselben Primitive für die heutigen generativen Videomodelle. Könnten Videomodelle auf einem Weg zu allgemeinem Sehverständnis sein, ähnlich wie LLMs allgemeines Sprachverständnis entwickelt haben?

Diese Forschung zeigt, dass Veo 3 eine breite Palette von Aufgaben Zero-Shot lösen kann, für die es nicht explizit trainiert wurde: Objekte segmentieren, Kanten erkennen, Bilder bearbeiten, physikalische Eigenschaften verstehen, Objekt-Affordanzen erkennen, Werkzeuggebrauch simulieren und vieles mehr. Diese Fähigkeiten, die visuelle Welt wahrzunehmen, zu modellieren und zu manipulieren, ermöglichen frühe Formen visueller Schlussfolgerung wie Labyrinth- und Symmetrielösung. Die aufkommenden Zero-Shot-Fähigkeiten von Veo 3 deuten darauf hin, dass Videomodelle auf dem Weg sind, einheitliche, generalistische Vision-Foundation-Modelle zu werden.