El algoritmo de visión artificial derrota a los historiadores del arte en su propio juego

Pocas áreas de investigación académica han escapado a la influencia de la informática y el aprendizaje automático. Pero uno de ellos es la historia del arte. El desafío de analizar pinturas, reconocer a sus artistas e identificar su estilo y contenido siempre ha estado más allá de la capacidad incluso de los algoritmos más avanzados.

Eso ahora está cambiando gracias a los avances recientes en el aprendizaje automático basados ​​en enfoques como las redes neuronales convolucionales profundas. En solo unos años, los científicos informáticos han creado máquinas capaces de igualar y, a veces, superar a los humanos en todo tipo de tareas de reconocimiento de patrones.

Hoy, vemos cuán avanzados se han vuelto estos enfoques en manos de Babak Saleh y Ahmed Elgammal en la Universidad de Rutgers en Nueva Jersey. Estos muchachos han utilizado estas nuevas técnicas de aprendizaje automático para entrenar algoritmos para reconocer al artista y el estilo de una pintura de bellas artes con una precisión que nunca antes se había logrado.

Además, los resultados revelan conexiones entre artistas y entre estilos de pintura completos, que los historiadores del arte han trabajado durante años para comprender.

Saleh y Elgammal comienzan con una base de datos de imágenes de más de 80 000 pinturas de más de 1000 artistas que abarcan 15 siglos. Estas pinturas cubren 27 estilos diferentes, cada uno con más de 1500 ejemplos. Los investigadores también clasifican las obras por género, como interior, paisaje urbano, paisaje, etc.

Luego toman un subconjunto de las imágenes y las usan para entrenar varios tipos de algoritmos de aprendizaje automático de última generación para seleccionar ciertas características. Estos incluyen funciones generales de bajo nivel, como el color general, así como funciones más avanzadas que describen los objetos en la imagen, como un caballo y una cruz. El resultado final es una descripción similar a un vector de cada pintura que contiene 400 dimensiones diferentes.

Luego, los investigadores prueban el algoritmo en un conjunto de pinturas que aún no ha visto. Y los resultados son impresionantes. Su nuevo enfoque puede identificar con precisión al artista en más del 60 por ciento de las pinturas que ve e identificar el estilo en el 45 por ciento de ellas.

Pero lo más importante es que el enfoque de aprendizaje automático proporciona una idea de la naturaleza de las bellas artes que, de otro modo, sería difícil de desarrollar incluso para los humanos. Esto proviene de analizar las pinturas que el algoritmo encuentra difíciles de clasificar.

Por ejemplo, Saleh y Elgammal dicen que a su nuevo enfoque le resulta difícil distinguir entre las obras pintadas por Camille Pissarro y Claude Monet. Pero una pequeña investigación sobre estos artistas revela rápidamente que ambos estuvieron activos en Francia a fines del siglo XIX y principios del XX y que ambos asistieron a la Académie Suisse en París. Un experto también podría saber que Pissarro y Monet eran buenos amigos y compartieron muchas experiencias que dieron forma a su arte. Así que el hecho de que su trabajo sea similar no es una sorpresa.

Como otro ejemplo, el nuevo enfoque confunde las obras de Claude Monet y el impresionista estadounidense Childe Hassam, quien resultó estar fuertemente influenciado por los impresionistas franceses y Monet en particular. Estos son enlaces que un ser humano puede tardar algún tiempo en descubrir.

El enfoque algorítmico también encuentra vínculos entre ciertos estilos artísticos. Por ejemplo, a menudo confunde ejemplos de expresionismo abstracto y pinturas de acción, en las que los artistas gotean o arrojan pintura y pisan el lienzo. Saleh y Elgammal vuelven a decir que este tipo de confusión sería totalmente comprensible para un espectador humano. La ‘pintura de acción’ es un tipo o subgénero del expresionismo abstracto”, señalan.

El algoritmo selecciona muchas otras similitudes. Vincula el expresionismo y el fauvismo, lo que podría esperarse dado que este último movimiento a menudo se considera como un tipo de expresionismo. Vincula los estilos manierista y renacentista, lo que refleja claramente el hecho de que el manierismo es una forma de pintura del Renacimiento temprano.

Y encuentra otros vínculos más directos, por ejemplo, entre la pintura del Renacimiento y la del primer Renacimiento, entre el impresionismo y el postimpresionismo, y entre el cubismo y su manifestación posterior, el cubismo sintético.

Estas conexiones son bien conocidas por los historiadores del arte, pero solo debido a muchas décadas, o incluso siglos, de erudición. Por el contrario, el enfoque de aprendizaje automático abarca solo unos pocos meses.

Eso tiene implicaciones importantes para el estudio de la historia del arte. Una aplicación de los nuevos algoritmos es seleccionar pinturas con características similares (ver imágenes). Eso proporciona una herramienta nueva y poderosa para que los historiadores busquen influencias entre artistas de las que tal vez nunca hayan sido conscientes.

También permite una nueva forma de exploración del arte, saltando de una imagen a otra similar, en un proceso que equivale visualmente a encontrar sinónimos.

¡Cosas fascinantes!

Ref: arxiv.org/abs/1505.00855 : Clasificación a gran escala de pinturas de bellas artes: aprender la métrica correcta en la característica correcta

esconder