Algoritmo de visión artificial aprende a transformar bocetos dibujados a mano en imágenes fotorrealistas

Dibujar un boceto preciso de la cara de una persona es un arte que es difícil de dominar para la mayoría de las personas. Pero resulta relativamente fácil para las computadoras. Existen varios programas para convertir imágenes en dibujos lineales. Eso a menudo produce un comienzo decente, aunque estos sistemas pueden tener dificultades con las sombras y el alto contraste.

Un enfoque más prometedor es usar algoritmos de visión artificial que se basen en redes neuronales para extraer características de una imagen y usarlas para producir un boceto. En esta área, las máquinas han comenzado a rivalizar e incluso superar a los humanos en la producción de bocetos precisos.

Pero, ¿y el problema inverso? Esto comienza con un boceto y tiene como objetivo producir una fotografía en color precisa de la cara original. Esa es claramente una tarea mucho más difícil, tanto que los humanos rara vez lo intentan.

Ahora las máquinas han resuelto este problema. Hoy, Yagmur Gucluturk, Umut Guclu y sus amigos de la Universidad de Radboud en los Países Bajos han enseñado una red neuronal para convertir bocetos de rostros dibujados a mano en retratos fotorrealistas. El trabajo es otra demostración de la forma en que las máquinas inteligentes, y las redes neuronales en particular, están comenzando a superar a los humanos en una variedad cada vez más amplia de tareas.

El equipo de Radboud comienza con un conjunto de datos de 200.000 imágenes de rostros tomadas de Internet. Los convirtieron en dibujos lineales, bocetos en escala de grises y bocetos en color, utilizando algoritmos estándar de procesamiento de imágenes. Esto creó un conjunto de datos de entrenamiento sustancial para enseñar una red neuronal convolucional profunda con 11 capas para hacer la tarea a la inversa: convertir un boceto en una fotografía en color fotorrealista de una cara.

Después de entrenar la red, el equipo la puso a prueba utilizando otro conjunto de datos. La tarea de la red neuronal era comenzar con el boceto y producir una imagen fotorrealista.

Los resultados son impresionantes, particularmente cuando la red neuronal comenzó con dibujos lineales. Descubrimos que el modelo de línea funcionó de manera impresionante en términos de hacer coincidir el color del cabello y la piel de las personas, incluso cuando los bocetos de línea no contenían ninguna información de color, dice el equipo.

La razón parece clara. Esto puede indicar que además de aprovechar las diferencias de luminancia en los bocetos para inferir el color, el modelo pudo aprender las propiedades del color a menudo asociadas con rasgos faciales de alto nivel de diferentes etnias, sugieren.

Luego, el equipo probó la red neuronal en un conjunto de datos completamente diferente utilizando bocetos dibujados a mano que obviamente se generaron de una manera completamente diferente a aquellos en los que se entrenó la red. Una vez más, la modelo sintetizó imágenes faciales fotorrealistas, dicen.

La red no era perfecta, por supuesto. En particular, tenía problemas cuando los trazos de lápiz en bocetos hechos a mano no iban acompañados de sombreado. Esto condujo a resultados menos realistas. Esto puede explicarse por la falta de tales características en los datos de entrenamiento del modelo de boceto lineal, dicen, y agregan que esta deficiencia se puede superar fácilmente al incluir ejemplos en el conjunto de entrenamiento que se parezcan más al estilo de dibujo de los dibujantes. dicen los investigadores de Radboud.

Finalmente, el equipo permitió que su red neuronal se exhibiera al producir imágenes fotorrealistas de artistas como Rembrandt y Van Gogh a partir de autorretratos esbozados que ambos artistas habían hecho.

Es un trabajo impresionante que muestra cómo las redes neuronales profundas están comenzando a superar rápidamente a los humanos en tareas de visión. La aplicación inmediata obvia es en medicina forense, donde los artistas policiales deben construir imágenes precisas de los sospechosos.

Y esta es solo una de las muchas formas en que estas máquinas muestran su supremacía. Los algoritmos de visión artificial también pueden realizar tareas como copiar y pegar estilos artísticos de una imagen a otra, agregar color a imágenes en escala de grises con precisión y transformar imágenes de baja resolución en imágenes de alta resolución.

Todo esto ha sucedido en solo un par de años de desarrollo, y las redes neuronales profundas tienen mucho más por recorrer. Es difícil predecir de lo que serán capaces en, digamos, solo dentro de un año.

Ref: arxiv.org/abs/1606.03073 : Inversión de croquis convolucional

esconder