DragGAN: Uma nova era na edição de imagens?
O DragGAN abre uma nova categoria na edição de imagens, onde imagens fotorrealistas são personalizadas pelo usuário através do recurso de arrastar e soltar. Os detalhes são manipulados por um GAN (Rede Generativa Adversarial).
Os métodos atuais de manipulação de imagens, como ferramentas como o Photoshop, exigem um alto grau de habilidade para controlar de forma flexível e precisa a posição, forma, expressão ou arranjo de objetos individuais. Outra opção é criar imagens completamente novas usando IA generativa, como o Stable Diffusion ou GANs, mas essas opções oferecem pouco controle.
Com o DragGAN, pesquisadores do Instituto Max Planck de Ciência da Computação, do Centro de Pesquisa em Computação Visual de Saarbrücken, do MIT CSAIL e do Google demonstram uma nova maneira de controlar GANs para processamento de imagens.
DragGAN: Processamento de imagens por arrastar e soltar
O DragGAN pode processar imagens fotorrealistas desde que as representações correspondam às categorias do conjunto de dados de treinamento do GAN. Isso inclui animais, carros, pessoas, células e paisagens. Em uma interface simples, os usuários arrastam pontos definidos em uma imagem para as posições desejadas, por exemplo, para fechar os olhos de um gato, girar a cabeça de um leão e abrir sua boca, ou transformar um carro em outro modelo.
O DragGAN rastreia esses pontos e gera imagens correspondentes às alterações desejadas.
DragGAN produz resultados realistas para cenários desafiadores
“Através do DragGAN, qualquer pessoa pode deformar uma imagem com controle preciso sobre onde os pixels vão, manipulando assim a pose, forma, expressão e layout de diversas categorias”, disse a equipe. “Como essas manipulações são realizadas no espaço gerativo de imagem aprendido por um GAN, elas tendem a produzir resultados realistas, mesmo para cenários desafiadores, como alucinar conteúdo oculto e deformar formas que seguem consistentemente a rigidez do objeto.”
Em uma comparação, a equipe mostra que o DragGAN é claramente superior a outras abordagens. No entanto, algumas alterações ainda são acompanhadas por artefatos quando estão fora da distribuição de treinamento.
Mais informações estão disponíveis no artigo, no Hugging Face ou na página do projeto DragGAN.
Fonte: Andre Lug
