Movie Gen: veja como funcionar nova plataforma de criar vídeos da Meta

A Meta, dona do Facebook, divulgou nesta sexta-feira, 4, o Movie Gen, modelo de inteligência artificial (IA) que cria clipes de vídeo e áudio com aparência realista a partir de comandos em texto.

O Movie Gen tem quatro capacidades: geração de vídeo, geração de vídeo personalizada, edição precisa de vídeo e geração de áudio.

Geração de vídeo

Com um prompt de texto, será possível alavancar um modelo conjunto otimizado de texto para imagem e texto para vídeo para criar imagens e vídeos de alta qualidade e alta definição.

Veja também:

>>>Semana Nacional de Ciência e Tecnologia valoriza biomas e saberes tradicionais na Bahia
>>>Feira oferece mais de 39 mil oportunidades de trabalho na Bahia

Esse modelo tem a capacidade de gerar vídeos de até 16 segundos a uma taxa de 16 quadros por segundo. De acordo com a Meta, foi descoberto que a partir desses modelos, é possível raciocinar sobre movimento de objetos, interações sujeito-objeto e movimento de câmera. Além de conseguir aprender movimentos plausíveis para ampla variedade de conceitos.

Vídeos personalizados

Também é possível a criação de vídeos personalizados. A Meta informou que tomou como entrada a imagem de uma pessoa e a combinou com um prompt de texto para gerar um vídeo que contém a pessoa de referência e detalhes visuais informados pelo prompt de texto.

Neste caso, a Meta usa como exemplo, um vídeo criado de uma menina tocando em uma mesa de DJ ao lado de uma onça que acompanha o ritmo da música, criado por IA.

Edição de vídeo precisa

A edição do mesmo modelo usa prompt de vídeo e texto como entrada, executando tarefas com precisão para gerar a saída desejada, segundo a Meta. É possível realizar edições localizadas como adicionar, remover ou substituir elementos e alterações globais como modificações de fundo ou estilo.

Geração de áudio

A Meta também divulgou que treinaram um modelo de geração de áudio 13B parâmetros que pode pegar um vídeo e prompts de texto opcionais e gerar áudio de alta qualidade e fidelidade de até 45 segundos, incluindo som ambiente, efeitos sonoros (Foley) e música de fundo instrumental, sincronizado com o conteúdo do vídeo.

Além disso, foi introduzida uma técnica de extensão de áudio que pode gerar áudio coerente para vídeos de durações arbitrárias.