Vamos explicar para você o que é VideoGigaGAN da Adobe, um novo modelo de inteligência artificial com o qual pretendem acabar com os vídeos desfocados, aumentando a resolução e eliminando o desfoque. No momento é um projeto que acaba de ser apresentado e está em desenvolvimento, mas vamos explicar para vocês.
Começaremos este artigo explicando brevemente o que é exatamente esse modelo de IA e o que ele pode fazer de acordo com a Adobe. A seguir explicaremos um pouco sobre o funcionamento interno e finalizaremos informando se sabemos alguma coisa sobre seu lançamento.
O que é VideoGigaGAN
VideoGigaGAN é um novo recurso baseado em inteligência artificial introduzido pela Adobe, empresa por trás de ferramentas como o Photoshop. É uma IA baseada em modelos generativos, mas neste caso não gera conteúdo do nada, mas sim para melhorar o que existe atualmente.
A ideia por trás desta inteligência artificial é simples. Vídeos de baixa resolução parecem desfocados, especialmente quando você aumenta seu tamanho dimensionando-os, momento em que também pode aparecer ruído. O que eles querem alcançar é uma IA que aumenta a resolução tornando-os nítidos de uma forma espetacular.
Vamos lá, os vídeos que estão desfocados deixam de ficar desfocados, e quando a resolução é aumentada eles ficam claros e nítidos, porque a IA reconstruiu a imagem. Com isso, a Adobe diz que pode aumente a resolução de um vídeo em até x8e tudo isso ao mesmo tempo que os faz parecer nítidos.
As amostras que acompanharam o documento de apresentação desta inteligência artificial são incríveis. Neles, eles viram como seria converter um vídeo desfocado com resolução de 128×128 em um de 1024×1024. Não só aumenta a resolução, a imagem fica completamente nítida e, em alguns casos, até elimina a oscilação em vídeos de baixa resolução para torná-los mais suaves.
Com isso, o que a Adobe tem feito é utilizar as técnicas de geração de conteúdo de IA não para gerá-lo do zero, mas para gere-o a partir de um vídeo apresentado. O conteúdo é gerado e “inventado”, mas de forma que o resultado seja igual ao do vídeo fonte.
Como funciona esta IA
VideoGigaGAN é o que chamamos de modelo VSR ou Video Super-Resolution, que traduzido é um modelo de super resolução de vídeo, e é baseado na arquitetura assimétrica do amostrador de imagem GigaGAN. Este GigaGAN é um modelo de síntese de texto para imagem que permite dimensionar e manipular grandes conjuntos de dados, gerando imagens realistas a partir de texto.
O que eles fizeram internamente com isso, primeiro foi converter o amostrador de imagem em um amostrador de vídeo adicionando camadas de atenção à linha do tempo aos seus blocos de decodificação. Dessa forma, o modelo não apenas redimensiona as imagens, mas o faz de forma a compor o vídeo.
Eles também incorporam recursos de um módulo de propagação guiada por fluxo, melhorando assim a coerência, e usam blocos de suavização nas camadas de subamostragem do codificador para suprimir artefatos ou defeitos de suavização que possam surgir.
Em suma, o resultado final, por um lado, é melhorar a resolução de um vídeo, até oito vezes. Além disso, detalhes de alta frequência são adicionados e mantêm a consistência temporal, evitando problemas comuns de redimensionamento de vídeo, como oscilações ou movimentos repentinos.
Também técnicas avançadas de suavização são usadas e outras funções de alta frequência, para obter vídeos mais nítidos e coerentes com o utilizado com o cone base.
No final das contas, o que essa IA faz internamente é analisar o conteúdo do vídeo que você envia, redimensionando imagem por imagem. Também aplica diversas camadas para que o resultado seja nítido e perfeito, para que pareça que o vídeo foi realmente gravado em alta definição.
Quando chegará o VideoGigaGAN?
Atualmente, esta ferramenta de inteligência artificial está em desenvolvimento. Isso significa que é um trabalho em andamento e ainda não há produto final. Vamos lá, o que não disponível aindae não há como provar isso.
Ainda não há data de lançamento planejada. No entanto, é provável que quando terminarem e lançarem uma primeira versão desta tecnologia, integra-se com outras ferramentas da Adobe como costumam fazer com seus desenvolvimentos de IA, como o Adobe Premiere Pro. No entanto, isso é algo que ainda não é conhecido.
Noções básicas de Xataka | Como começar do zero na inteligência artificial: conceitos básicos, ferramentas, truques e dicas