211service.com
¿Ganará la inteligencia artificial el concurso de subtítulos?
Cuando los usuarios de las redes sociales suben fotografías y las subtitulan, no solo etiquetan sus contenidos. Cuentan una historia, lo que le da contexto a las fotos y un significado emocional adicional.
A artículo publicado por Microsoft Research describe un sistema de subtítulos de imágenes que imita el estilo único de narración visual de los humanos. Empresas como Microsoft, Google y Facebook han pasado años enseñando a las computadoras a etiquetar el contenido de las imágenes, pero esta nueva investigación va un paso más allá al enseñar a un sistema basado en redes neuronales a inferir una historia a partir de varias imágenes. Algún día podría usarse para generar automáticamente descripciones para conjuntos de imágenes, o para llevar un lenguaje similar al humano a otras aplicaciones de inteligencia artificial.
En lugar de dar descripciones suaves o simples de lo que sucede en las imágenes, las colocamos en un contexto narrativo más amplio, dice Frank Ferraro, estudiante de doctorado de la Universidad Johns Hopkins y coautor del artículo. Puede comenzar a hacer inferencias probables de lo que podría estar sucediendo.
Considere un álbum de fotos que represente a un grupo de amigos celebrando un cumpleaños en un bar. Algunas de las primeras imágenes muestran a personas pidiendo cerveza y bebiéndola, mientras que una foto posterior muestra a alguien durmiendo en un sofá.
Un sistema de subtítulos podría simplemente decir: 'Una persona acostada en un sofá', dice Ferraro. Pero un sistema de narración podría decir: 'Bueno, dado que creo que estas personas estaban de fiesta o comiendo y bebiendo, entonces esta persona puede estar borracha'.
Un ejemplo enumerado en el documento incluye una serie de cinco imágenes. Muestran a una familia reunida alrededor de una mesa, un plato de mariscos, un perro e imágenes de la playa. La red neuronal los describió con la lectura de una historia, La familia se reunió para una comida al aire libre. Tenían mucha comida deliciosa. El perro estaba feliz de estar allí. Se lo pasaron genial en la playa. Incluso se bañaron en el agua.
El equipo, que fue dirigido por la investigadora de Microsoft Margaret Mitchell e incluyó a pasantes de Microsoft como Ferraro y un investigador de Facebook AI, convirtió lo que se llama una red neuronal recurrente de secuencia a secuencia en un narrador al entrenarlo con imágenes de Flickr. Hicieron que los ayudantes escribieran subtítulos para imágenes individuales y para series de imágenes en secuencias específicas.
Un enfoque similar a los que se utilizan para etiquetar el contenido de fotos individuales produjo historias que eran demasiado genéricas. Para contrarrestar esto, el equipo desarrolló una forma para que la red eligiera palabras que probablemente serían visualmente destacadas. También requerían que el sistema no repitiera palabras.
La narración es una parte importante del ser humano, dice el director del Stanford Vision Lab, Fei-Fei Li, quien no contribuyó a la investigación. La tecnología que puede imitar las técnicas de los humanos para documentar historias debe ser capaz de hacer referencias cruzadas de objetos y personajes vistos en múltiples imágenes e inferir relaciones entre personas, objetos y lugares.
El artículo publicado es solo el comienzo de este tipo de tecnología, dice Li. Pero es un buen paso adelante para empezar a abordar un proyecto tan ambicioso. Espero con ansias más trabajos de seguimiento de estos autores y otros.