La visión artificial puede crear fotos al estilo de Harry Potter para muggles

Chung-Yi Weng | youtube

En J. K. En las novelas de Harry Potter de Rowling, las fotografías mágicas son similares a las ordinarias excepto que los personajes en ellas están animados; saludan, sonríen o, a veces, desaparecen por completo para atender otros asuntos.

Las fotos mágicas son la creación de la extraordinaria imaginación de Rowling. Pero algo así pronto estará disponible para los muggles comunes gracias al trabajo de Chung-Yi Weng en la Universidad de Washington en Seattle y un par de amigos. Esta gente ha creado una pieza de software llamada Photo Wake-Up que puede animar al personaje central en una fotografía mientras deja intacto el resto de la imagen.

Esta tarea es más fácil de decir que de hacer debido a un importante problema no resuelto en informática. Este es el problema de la estimación de la pose corporal. Dada una imagen bidimensional de un ser humano, la pregunta que la visión artificial lucha por responder es: ¿qué pose tridimensional está adoptando la persona?

Eso es difícil porque los cuerpos pueden quedar parcialmente ocluidos, a menudo por otras partes del cuerpo, como cuando alguien está de pie con los brazos cruzados. Eso dificulta que una máquina determine la estructura tridimensional a partir de una imagen 2D.

Una amplia gama de equipos de informática han intentado abordar este problema. En este trabajo, Weng y compañía usan un programa llamado SMPL, desarrollado por un equipo de Microsoft y el Instituto Max Planck para Sistemas Inteligentes en Alemania.

Esto comienza con un recorte en 2D de un cuerpo humano y superpone un esqueleto en 3D a la forma. Luego, el esqueleto se puede animar para crear la sensación de movimiento. Eso resuelve el problema de la estimación de la pose, aunque para un conjunto limitado de circunstancias.

El código necesita ver un recorte de pies a cabeza de un cuerpo que se ve desde el frente. Puede manejar algunos tipos de oclusión, como un brazo delante del cuerpo, pero no puede manejar oclusiones más complejas, como alguien sentado con las piernas cruzadas. Aún así, mapear el recorte de una fotografía en un esqueleto 3D no produce animaciones realistas.

Ahí es donde entran Weng y compañía. Su principal logro es desarrollar una forma de deformar el recorte 2D de una manera que crea un modelo 3D realista del cuerpo. Nuestra contribución técnica clave, entonces, es un método para construir un modelo 3D animado que coincida con la silueta en una sola foto, dicen.

En el pasado, los informáticos intentaron resolver este problema deformando una malla tridimensional con forma de cuerpo para reflejar el recorte 2D. Eso no siempre funciona bien, por lo que Weng y compañía intentan un enfoque diferente.

Su idea es mapear la malla con forma de cuerpo en el espacio 2D y luego alinearla con el recorte 2D usando un algoritmo de deformación. Esto identifica partes específicas del cuerpo (cabeza, brazo derecho, pierna derecha, brazo izquierdo, pierna izquierda y torso) y deforma cada uno de manera que coincida con el recorte.

Habiendo realizado la alineación en 2D, la transforman nuevamente en 3D. Este enfoque de deformación 2D funciona bien para manejar siluetas complejas, dicen.

El equipo presta especial atención a la cabeza, en la que los espectadores humanos tienden a centrarse. Dicen que la precisión en la pose de la cabeza es importante para una buena animación. Entonces, su algoritmo también identifica características como la dirección de la mirada y el ángulo de la cabeza, y luego usa esto para obtener un ángulo preciso para la postura de la cabeza de malla corporal.

Estas técnicas automatizadas son buenas, pero no son perfectas. Entonces, el equipo también desarrolló una interfaz de usuario que permite que cualquiera cambie la orientación del esqueleto en relación con el cuerpo. Eso permite a los usuarios corregir cualquier error y ajustar la animación.

El resultado final es un tipo impresionante de foto animada. El algoritmo aísla un cuerpo humano en la fotografía, lo recorta de la imagen y llena el espacio con un algoritmo de relleno de parches. Luego anima este cuerpo en tres dimensiones para que salga de la foto, corra, salte o salude, como en las fotos mágicas imaginadas por Rowling. El algoritmo incluso funciona en entornos de realidad aumentada.

Nuestro método funciona con una gran variedad de fotos de cuerpo entero, bastante frontales, que van desde fotos de deportes hasta arte y carteles, dicen. El equipo ha producido un video que muestra su método y resultados. aquí . ¡Vale la pena verlo!

Es un trabajo interesante con potencial para entretener e informar. Como dijeron Weng y compañía: Creemos que el método no solo permite nuevas formas para que las personas disfruten e interactúen con las fotos, sino que también sugiere un camino para reconstruir un avatar virtual a partir de una sola imagen al tiempo que brinda información sobre el estado del arte de humanos. modelado a partir de una sola foto.

Incluso Rowling seguramente estaría impresionado.

Ref: arxiv.org/abs/1812.02246 : Photo Wake-Up: Animación de personajes en 3D a partir de una sola foto

esconder