Modelos de vídeo são aprendizes e raciocinadores zero-shot

Google Google DeepMind

Resumo

O Veo 3 mostra capacidades zero-shot emergentes em muitas tarefas visuais, indicando que os modelos de vídeo estão no caminho para se tornarem modelos de fundação de visão—assim como os LLMs se tornaram modelos de fundação para linguagem.

Percepção

Modelagem

Manipulação

Raciocínio

Resumo

As notáveis capacidades zero-shot dos Modelos de Linguagem Grandes (LLMs) impulsionaram o processamento de linguagem natural de modelos específicos de tarefas para modelos de fundação unificados e generalistas. Esta transformação emergiu de primitivas simples: modelos grandes e generativos treinados em dados de escala web. Curiosamente, as mesmas primitivas se aplicam aos modelos de vídeo generativos de hoje. Os modelos de vídeo podem estar em uma trajetória em direção à compreensão de visão de propósito geral, assim como os LLMs desenvolveram compreensão de linguagem de propósito geral?

Esta pesquisa demonstra que o Veo 3 pode resolver zero-shot uma ampla variedade de tarefas para as quais não foi explicitamente treinado: segmentar objetos, detectar bordas, editar imagens, compreender propriedades físicas, reconhecer affordances de objetos, simular uso de ferramentas e muito mais. Essas habilidades de perceber, modelar e manipular o mundo visual permitem formas iniciais de raciocínio visual como resolução de labirintos e simetria. As capacidades zero-shot emergentes do Veo 3 indicam que os modelos de vídeo estão no caminho para se tornarem modelos de fundação de visão unificados e generalistas.