Minería de datos de 100 millones de fotos de Instagram revela patrones globales de ropa

Imagine un futuro antropólogo con acceso a trillones de fotos de personas, tomadas durante siglos y en todo el mundo, y equipado con herramientas efectivas para analizar estas fotos y obtener información. ¿Qué tipo de preguntas nuevas se pueden responder?

Este es el sueño que inspiró a Kevin Matzen, Kavita Bala y Noah Snavely en la Universidad de Cornell en Ithaca, Nueva York.

Su pensamiento es que los millones de fotos que se suben cada día a las redes sociales brindan una ventana fascinante a los factores culturales, sociales y económicos que dan forma a las sociedades de todo el mundo. Con una inteligencia artificial lo suficientemente poderosa, dicen, debería ser posible extraer esta fuente principal de datos para obtener información profunda sobre nuestra civilización.

El algoritmo revela cómo los estilos de ropa cambian con el tiempo

Por suerte, este tipo de inteligencia artificial está surgiendo actualmente a una velocidad vertiginosa. Y Matzen y compañía lo han puesto a trabajar estudiando 100 millones de fotos publicadas en Instagram.

La pregunta que estos muchachos quieren responder específicamente es cómo los estilos de ropa varían en todo el mundo, un fenómeno cultural que de otro modo es difícil de estudiar a esta escala.

Por ejemplo, su enfoque puede abordar cuestiones tales como cómo cambia con el tiempo la frecuencia del uso de bufandas en los EE. UU., qué estilos son más específicos para regiones o ciudades particulares y, por el contrario, qué estilos son populares en todo el mundo.

Para averiguarlo, Matzen y compañía recurrieron a Instagram, que les permitió descargar imágenes dentro de los cinco kilómetros de una ubicación específica y dentro de los cinco días de una fecha específica.

Luego, el equipo identificó 44 ciudades para estudiar y descargó un total de 100 millones de imágenes de estos lugares en ventanas de cinco días entre junio de 2013 y junio de 2016.

Usaron un programa de reconocimiento facial estándar para filtrar todas las imágenes que no contenían un rostro, y también filtraron por un torso visible, dejando un conjunto de 15 millones de fotos de personas que muestran la mitad superior de su cuerpo, junto con su ubicación. y la fecha

Luego, entrenaron un algoritmo de aprendizaje automático para reconocer varios tipos de ropa y accesorios en imágenes. Por ejemplo, el algoritmo aprendió a reconocer si las personas llevaban chaqueta, bufanda, corbata, gafas, sombrero, etc. El algoritmo también podría reconocer colores, estilos de escote y largo de manga; categorías de ropa como camiseta, vestido o camiseta sin mangas; y patrones de ropa, como sólidos, rayas, cuadros, etc.

Finalmente, dejaron que la máquina perdiera los 15 millones de fotos en su conjunto de datos y luego usaron otro algoritmo para buscar grupos de imágenes con temas visuales similares y rastrear cómo variaban a lo largo del tiempo y de un lugar a otro.

Los resultados hacen una lectura interesante. El algoritmo de agrupación encontró unos 400 temas visuales diferentes, como personas que vestían camisetas blancas y anteojos, o vestían blusas rojas con cuello en V o vestidos negros, ¡o no usaban blusas en absoluto!

Matzen y compañía pueden estudiar cómo estos temas visuales varían según el tiempo y el lugar. Descubrieron, por ejemplo, que ciertos colores varían periódicamente, siendo el negro y el marrón más comunes en invierno y el blanco y el azul más comunes en verano.

Otros colores muestran patrones diferentes. Por ejemplo, la popularidad del rojo está cayendo. Y aunque es mucho menos periódico que el blanco o el negro, de vez en cuando se vuelve repentinamente popular. Matzen y compañía apuntan a pequeños picos de popularidad cerca de finales de octubre y diciembre: en otras palabras, en Halloween y Navidad. Lo que se destacó fue una gran variedad de gorros de Papá Noel, así como una variedad inesperada de disfraces rojos de Halloween con gorros o capuchas rojas, dicen.

También encontraron un aumento repentino en la popularidad de las camisetas amarillas en Colombia y Brasil durante la Copa Mundial de fútbol de junio/julio de 2014: los equipos de fútbol de ambos países visten de amarillo.

También notaron varias tendencias geográficas. Los países más al norte tienden a tener más chaquetas, dicen, presumiblemente porque hace más frío.

El uso de sombreros también es más popular en los países más fríos. Pero curiosamente, Omán en el Medio Oriente resulta ser una de las capitales del mundo con sombrero. En particular, el kuma y el massar son populares en Omán, ya que son un elemento importante de la vestimenta nacional de los hombres, dicen Matzen y compañía.

Algunas prendas son exclusivas de lugares particulares: el gele, un lazo nigeriano para la cabeza, es muy distintivo de Lagos. Y otros estilos son comunes en todo el mundo y durante todo el año, incluidas las camisas con cuello azul, las camisas a cuadros y las camisetas negras.

Es un trabajo interesante que revela el potencial del aprendizaje automático para desgarrar el tejido cultural de nuestra sociedad.

Por supuesto, este enfoque no es perfecto. El algoritmo no aprendió a distinguir entre gafas de sol y gafas graduadas, que desempeñan diferentes roles en la sociedad. Es poco probable que las imágenes sean representativas de la sociedad en su conjunto, ya que los usuarios de Instagram están muy sesgados hacia un grupo demográfico más joven. Y la técnica solo mira la parte superior del cuerpo, ya que las piernas a menudo se recortan en las imágenes en línea.

Pero existe un potencial significativo para corregir estas deficiencias en el trabajo futuro y para ir más allá. Un desafío constante en la visión artificial es determinar si las personas están de pie o sentadas o qué están haciendo en general. También sería posible combinar este conjunto de datos con otros, como datos meteorológicos y de temperatura.

Como concluyen Matzen y compañía: La combinación de big data, aprendizaje automático, visión por computadora y algoritmos de análisis automatizados crearía una herramienta de análisis muy poderosa más ampliamente en el descubrimiento visual de la moda y muchas otras áreas.

Claramente, no necesitamos esperar a los antropólogos del futuro.

Ref: arxiv.org/abs/1706.01869 :StreetStyle: explorando estilos de ropa de todo el mundo a partir de millones de fotos

esconder