Los avances en la tecnología de la imagen han permitido la creación de imágenes generadas por computadora cada vez más realistas y detalladas. Ahora, un equipo de investigadores ha desarrollado un nuevo modelo generativo condicional consciente de 3D para la síntesis de imágenes fotorrealistas controlables.
Este modelo permite la creación de imágenes a partir de mapas de etiquetas 2D, como segmentaciones o mapas de bordes, que luego se pueden sintetizar desde diferentes puntos de vista. Esto proporciona un mayor control sobre la generación de imágenes y permite a los usuarios crear contenido personalizado.
El modelo supera los enfoques existentes, que a menudo tienen problemas para sintetizar imágenes basadas en una entrada condicional o sufren de una inconsistencia de punto de vista notable. Además, muchos de ellos carecen de un control explícito del usuario sobre la geometría 3D.
Para abordar estos desafíos, el equipo integró representaciones 3D con modelado generativo condicional, lo que permite una representación 3D de alta resolución mediante el condicionamiento de las entradas del usuario. El modelo aprende a asignar una etiqueta semántica a cada punto 3D, lo que permite representar la imagen y el mapa de etiquetas alineado con píxeles simultáneamente.
Además, mediante la edición interactiva de mapas de etiquetas proyectados en puntos de vista especificados por el usuario, este sistema se puede utilizar como una herramienta para la edición 3D del contenido generado. Esto proporciona un mayor control sobre la creación de contenido y permite a los usuarios personalizar aún más las imágenes generadas.
Finalmente, el equipo demostró que estas representaciones 3D se pueden aprender a partir de imágenes monoculares ampliamente disponibles y pares de mapas de etiquetas. Esto hace que el modelo sea más accesible y permite a los usuarios crear contenido personalizado utilizando imágenes que ya tienen.
En general, este nuevo modelo generativo condicional consciente de 3D es una herramienta emocionante para la creación de imágenes fotorrealistas controlables y personalizadas. Con su capacidad para integrar representaciones 3D y permitir la edición interactiva de mapas de etiquetas, este modelo puede ser utilizado en una variedad de aplicaciones, desde la creación de contenido digital hasta la producción de películas y juegos.
