Los algoritmos pueden convertir cualquier escena en un cómic

Los cómics toman la forma de una serie de imágenes fijas que juntas cuentan una historia. Las imágenes suelen estar muy estilizadas y los artistas gráficos son admirados por su habilidad.

Pero este tipo de arte es difícil de aprender y difícil de perfeccionar, por lo que su producción lleva mucho tiempo y es costosa. Por lo tanto, a los artistas, editores y lectores les encantaría tener una forma automatizada de hacer que una imagen imite el estilo cómico deseado.

Resulta que este tipo de algoritmo ya existe. En 2015, un grupo de investigadores en Alemania descubrió una forma de transferir el estilo artístico de una imagen a otra. Desde entonces, otros han mejorado constantemente este enfoque para hacerlo más rápido y preciso.

De izquierda a derecha: la imagen gráfica original, la imagen de destino y la imagen estilizada resultante

Sin embargo, hasta ahora el trabajo se ha centrado en transferir el estilo de artistas plásticos como Picasso y Van Gogh a otras imágenes, o en alterar imágenes ordinarias para convertir la noche en día. ¿Qué tan bien funcionan estos algoritmos con las imágenes a menudo más estilizadas producidas por los artistas de historietas?

Hoy recibimos una respuesta gracias al trabajo de Maciej Pęśko y Tomasz Trzciński en la Universidad Tecnológica de Varsovia en Polonia. Estos muchachos han aplicado varios tipos de transferencia de estilo de imagen a gráficos de historietas y han comparado los resultados.

Primero algunos antecedentes. Este enfoque comenzó con el trabajo de Leon Gatys en la Universidad de Tubingen y algunos amigos, quienes estudiaron la forma en que las redes neuronales profundas registraban y analizaban el estilo artístico. Estas redes consisten en capas, cada una de las cuales analiza una imagen en un nivel diferente: detalles como formas, colores y líneas.

La idea clave detrás del trabajo de Gatys y compañía es que el estilo artístico no se captura en las capas en sí, sino en las correlaciones entre ellas. Eso hace posible separar inmediatamente el estilo de un artista del contenido del arte, e incluso transferirlo de una imagen a otra.

Y eso es exactamente lo que hicieron Gatys y compañía, ante el asombro generalizado de la comunidad de visión artificial. Este trabajo se ha convertido en la base de una nueva subdisciplina de la visión artificial conocida como transferencia de estilo neuronal.

Un problema con el nuevo enfoque es que es computacionalmente intensivo. Lleva un tiempo considerable (varios segundos para imágenes de 512x512 en computadoras de escritorio modernas) analizar una imagen, quitarle el estilo y aplicar ese estilo a otra escena.

Entonces, los científicos informáticos comenzaron a buscar diferentes enfoques que pudieran hacer la tarea más rápidamente. Y, de hecho, idearon varios algoritmos que hacen un trabajo similar. Sin embargo, existe un equilibrio entre la velocidad y la calidad.

Entran Pęśko y Trzciński. Estos muchachos han probado una amplia gama de algoritmos de transferencia de estilos neuronales en la tarea específica de transferir los estilos gráficos asociados con los cómics. Este es el primer intento de evaluar y comparar los resultados obtenidos por varios métodos en el contexto de la transferencia de estilo cómico, dicen.

Se centran específicamente en las técnicas más rápidas que tienen el potencial de funcionar en cualquier imagen gráfica. Nos enfocamos mayormente en métodos cuyo tiempo de ejecución por imagen no supere los 2 segundos, dicen.

De esta forma, probaron cinco algoritmos diferentes sobre imágenes de 600x450 píxeles procesadas con una unidad de procesamiento de gráficos Titan X de 12 gigabytes. Seleccionaron imágenes que representan varios estilos de historietas y las transfirieron a imágenes elegidas al azar de una búsqueda de imágenes de Google.

Finalmente, mostraron los resultados a 100 personas para evaluar qué tan bien los algoritmos lograron la transferencia de estilo.

Los resultados muestran el estado del arte en esta área. El algoritmo juzgado mejor es una técnica conocida como normalización de instancia adaptativa, desarrollada en 2017, con alrededor del 30 por ciento de los votos a su favor. Confirma nuestras suposiciones de que este método da resultados que son los más cercanos a dibujos animados o cómics en términos de similitud estilística, dicen Pęśko y Trzciński.

Sin embargo, los resultados no son en absoluto perfectos. Todas las técnicas adolecen hasta cierto punto de problemas como la transferencia de color inapropiada y el desenfoque. Creemos que todavía hay lugar para mejorar, dicen los investigadores.

Eso representa una oportunidad. El mercado de las historietas solo en los EE. UU. tiene un valor de mil millones de dólares al año. Y hay muchas partes del mundo que aún tienen que desarrollar sus propias culturas en torno a los cómics, como India. Así que hay mercados que tienen potencial para crecer.

La capacidad de crear imágenes de historietas de alta calidad marcará una diferencia significativa para cualquiera que desee conquistar esos mercados.

Sin embargo, existe otro problema: el desafío de desarrollar personajes poderosos e historias convincentes. Las redes neuronales no pueden ayudar con eso... al menos, no todavía.

Ref: arxiv.org/abs/1809.01726 : Transferencia de estilo de cómic neuronal: estudio de caso

esconder