Algoritmo clona el estilo artístico de Van Gogh y lo pega en otras imágenes y películas

La naturaleza del estilo artístico es un misterio para la mayoría de la gente. Piensa en Vincent Van Gogh Noche estrellada , la obra de Picasso sobre el cubismo, o la de Edvard Munch El grito . Todos tienen un estilo poderoso y único que los humanos reconocen fácilmente.

Pero ¿y las máquinas? Las redes neuronales profundas están revolucionando la forma en que las máquinas reconocen e interpretan el mundo. La visión artificial ahora supera rutinariamente a los humanos en tareas como el reconocimiento de objetos y rostros, algo que era inimaginable hace solo unos años.

Recientemente, estos dispositivos han dado los primeros pasos tentativos para reconocer el estilo artístico e incluso reproducirlo. No está claro hasta dónde puede llegar este tipo de trabajo. Por ejemplo, ¿es posible copiar y pegar un estilo artístico de una imagen en un video completo, sin producir artefactos que arruinen la experiencia visual?

Hoy, Manuel Ruder y sus amigos de la Universidad de Freiburg en Alemania demuestran que exactamente esto es posible. Estos chicos toman obras de arte famosas como Noche estrellada y El grito y transferir su estilo a una variedad de secuencias de video tomadas de películas como Era de Hielo y programas de televisión como Miss Marple. El resultado es una reproducción impresionante de videos y la posibilidad de hacerlo en casi cualquier estilo imaginable.

Las redes neuronales profundas consisten en muchas capas, cada una de las cuales extrae información de una imagen y luego pasa los datos sobrantes a la siguiente capa. Las primeras capas extraen patrones amplios como el color y las capas más profundas extraen progresivamente más detalles, lo que permite el reconocimiento de objetos.

La información extraída por las capas más profundas es importante. Es esencialmente el contenido de una imagen menos la información contextual como el color, la textura, etc. En cierto modo, es el equivalente informático de un dibujo lineal.

El año pasado, Leon Gatys en la Universidad de Tubingen y algunos amigos comenzaron a estudiar el estilo artístico de esta manera. Descubrieron que es posible capturar el estilo artístico mirando no la información en cada capa sino las correlaciones entre capas. Entonces, la forma en que un artista reproduce un rostro se correlaciona con la forma en que reproduce un árbol, una casa o el sol. Capturar esta correlación también captura el estilo.

Pero su descubrimiento clave fue que el contenido de una imagen puede separarse completamente del estilo artístico. Además, descubrieron que podían tomar este estilo artístico y copiarlo y pegarlo en el contenido de cualquier otra imagen.

De repente, es posible capturar el estilo abstracto de Kandinsky y pegarlo en una foto de tu gato. Eso es muy divertido. Pero también planteó la cuestión de cuánto más se puede llevar esta técnica.

El próximo paso obvio es pegar el estilo artístico en imágenes sucesivas para hacer un video. Pero eso inmediatamente causa problemas. Pequeñas diferencias entre fotogramas sucesivos pueden dar lugar a grandes diferencias en la forma en que se aplica el nuevo estilo artístico. Y eso hace que el video parezca nervioso y visualmente incoherente. Un problema particular son los bordes de los objetos a medida que se mueven o se ocluyen.

Ahora Ruder y compañía han resuelto este problema. Ante una imagen artística, trasladamos su particular estilo de pintura a todo el vídeo, dicen.

Su enfoque consiste en utilizar un algoritmo que analiza las desviaciones entre fotogramas procesados ​​sucesivos y evita grandes diferencias, pero al mismo tiempo ignora las áreas de una escena que aparecen después de haber sido ocluidas. Esto permite que el proceso reconstruya regiones no ocluidas y límites de movimiento distorsionados mientras preserva la apariencia del resto de la imagen, dicen.

Los resultados son impresionantes. El equipo utiliza su algoritmo para extraer el estilo artístico de varias obras de arte diferentes de Kandinsky, Picasso, Matisse, Turner y, por supuesto, Munch y Van Gogh.

Procesaron cada fotograma de las secuencias a una resolución de 1024 x 436 en una GPU Nvidia Titan X con un procesamiento paralelo en una CPU al mismo tiempo. Este proceso toma alrededor de ocho minutos por cuadro para comenzar. Pero después de la optimización, esto se reduce a un promedio de unos tres minutos por cuadro. Así que todo el proceso es computacionalmente intensivo.

La mejor manera de apreciar el resultado es ver el vídeo , una impresionante colección de secuencias de una amplia gama de películas, animaciones por computadora y programas de televisión.

Por supuesto, todavía hay mejoras que se pueden hacer. El algoritmo lucha con movimientos muy rápidos o grandes entre fotogramas y debería ser posible optimizar aún más el proceso para reducir el tiempo de cálculo. Pero ninguno de estos problemas parece sensacional.

El trabajo plantea una pregunta interesante de cuánto más lejos se puede llevar esta técnica. Por ejemplo, es fácil imaginar aplicaciones que puedan hacer esto en la nube mientras filmas en tu teléfono inteligente. Pero, ¿también sería posible pegar el estilo de El grito en tres dimensiones y más allá de eso en una realidad virtual? Es difícil encontrar razones por las que no.

Todo esto anuncia un enfoque completamente nuevo para el cine, pero también para el arte. Cuando el estilo artístico se convierte en una mercancía que se puede cortar y pegar de una imagen a otra, ¿qué significa eso para el trabajo de los artistas? No es difícil imaginar cómo estos estilos podrían editarse o incluso combinarse para producir híbridos.

¿A alguien le apetece un Rubens-Picasso, un Warhol-Monet o un Burton-Bergman?

Ref: arxiv.org/abs/1604.08610 : Transferencia de estilo artístico para videos

esconder