Ahora las máquinas de IA están aprendiendo a comprender historias

Las técnicas de inteligencia artificial están conquistando el mundo. El año pasado, el equipo de investigación DeepMind de Google dio a conocer una máquina que había aprendido sola a jugar videojuegos arcade . A principios de este año, un equipo de investigadores chinos demostró un sistema de reconocimiento facial que supera a los humanos , y la semana pasada, el gigante chino de internet Baidu reveló un único sistema de reconocimiento de voz capaz de transcribir tanto en inglés como en chino mandarín .

Dos factores han hecho esto posible. El primero es una mejor comprensión de las redes neuronales de muchas capas y cómo ajustarlas para tareas específicas. El segundo es la creación de las vastas bases de datos necesarias para entrenar estas redes.

Estas bases de datos son muy importantes. Para el reconocimiento facial, por ejemplo, una red neuronal necesita ver muchos miles de imágenes del mundo real en las que los rostros desde todos los ángulos, a veces ocluidos, estén claramente etiquetados. Eso requiere muchas horas de anotación humana, pero ahora es posible gracias a las técnicas de crowdsourcing y los servicios web como Mechanical Turk de Amazon.

El rápido progreso en esta área significa que gran parte de la fruta madura se está limpiando rápidamente: reconocimiento facial, reconocimiento de objetos, reconocimiento de voz, etc. Sin embargo, es mucho más difícil crear bases de datos para tareas de razonamiento más complejas, como la comprensión de historias.

Hoy, eso comienza a cambiar gracias al trabajo de Makarand Tapaswi en el Instituto de Tecnología de Karlsruhe en Alemania y algunos amigos, quienes han creado una base de datos sobre películas que deberían servir como campo de prueba para las máquinas de aprendizaje profundo y sus habilidades para razonar. sobre historias

La idea clave detrás de su proyecto es que la capacidad de responder preguntas sobre una historia o película es un indicador importante de si se ha entendido o no. Entonces, el objetivo de la investigación es crear cuestionarios de opción múltiple sobre películas que consisten en un conjunto de preguntas junto con varias respuestas factibles, de las cuales solo una es correcta.

Su enfoque es directo. Tapaswi y compañía comienzan recopilando sinopsis de la trama de Wikipedia para unas 300 películas. Estos varían en detalle desde un solo párrafo hasta más de 20 párrafos.

Vinculan esto con la película en sí, que es un cuerpo sustancial de datos. Una película promedio dura unas dos horas y tiene más de 198 000 fotogramas y casi 2000 tomas, dicen.

Las películas muestran claramente información que puede responder preguntas del tipo ¿Quién le hizo qué a quién? Pero no siempre contienen la información para responder preguntas sobre por qué suceden las cosas, para lo cual a veces es necesario un conocimiento adicional del mundo.

Entonces Tapaswi y compañía también recopilan información de bases de datos adicionales. Por ejemplo, extraen texto de video descrito para personas ciegas que está diseñado para contener suficiente información para comprender lo que está sucediendo sin verlo; y también extraen los guiones originales de las películas, que suelen ser útiles, aunque los directores no siempre los siguen al pie de la letra.

Luego, el equipo pidió a los anotadores humanos que eligieran leer las sinopsis de cada película. Luego tuvieron que formular una serie de preguntas sobre cada párrafo que leyeron, junto con la respuesta. En promedio, los anotadores escribieron cinco preguntas por párrafo. También tenían que resaltar una sección del texto que proporcionaba la respuesta a cada pregunta.

Finalmente, Tapaswi y compañía pidieron a los anotadores que leyeran cada pregunta y respuesta y que propongan cuatro respuestas incorrectas para crear un cuestionario de opción múltiple. La base de datos resultante contiene más de 7.000 preguntas sobre 300 películas.

Las preguntas se dividen en varias categorías. Aquí hay algunos ejemplos (adivina las películas, si puedes):

nombre de la persona (quien)
¿Quién le atrae a Epps?
¿Cuál es el apodo de Jeff Lebowski?

Razonamiento (por qué)
¿Por qué Arwen desea quedarse en la Tierra Media?
¿Por qué Bruce le tiene miedo a los murciélagos?

Resumen (qué)
¿Qué poder contiene la esencia verde?
Como se explicó en la audiencia, ¿cuál fue la causa principal del accidente?

Motivo: acción (cómo)
¿Cómo pasa el tiempo Kale cuando comienza su sentencia de arresto domiciliario?
¿Cómo derrota Hal a Parallax?

Ubicación (dónde)
¿Cómo se llama el gimnasio donde se deja el CD?
¿Hacia dónde dirige Aragorn la Comunidad?

Acción (qué)
¿Qué hace WALL-E una vez que piensa que EVE se ha cerrado?
¿Qué hacen Jane y Kevin un año después de conocerse?

Objeto/Cosa (qué)
¿Qué encuentra el grupo en la cueva de los trolls?
¿Qué destruyen en su casa los hombres que asaltan al Dude?

tipo de persona (que)
¿Quién es Daniel Cleaver?
¿Cuál es la profesión de Rachel Dawes?

Sí/No (es, hace)
¿Madeleine acepta dinero por su trabajo para Arthur Case?
¿Es Faramir Denethor el hijo mayor?

Causalidad (lo que sucede)
¿Qué hace Mark después de que Bridget lo visita y le pide perdón?
¿Qué sucede durante la cita de Miley con Travis?

Estos son relativamente sencillos para los humanos que han visto una película. Pero estos muchachos prueban la base de datos con algunas estrategias simples de preguntas y respuestas basadas en máquinas para ver qué tan bien les va. Ninguno lo hace particularmente bien, pero el punto, por supuesto, es ayudar a entrenar a las futuras generaciones de estas máquinas que, presumiblemente, serán mejores.

Esa es una gran pregunta. Un punto interesante es que las redes neuronales profundas necesitan grandes bases de datos para ayudarlas a aprender. Y cuanto más compleja sea la tarea, más grande debe ser la base de datos.

Entonces, una pregunta importante es qué tan grande debe ser una base de datos para entrenar un algoritmo de aprendizaje profundo para responder preguntas sobre películas. Eso es difícil de responder, incluso dentro de un orden de magnitud.

Por lo tanto, un objetivo importante será averiguar si esta base de datos es lo suficientemente grande como para ayudar a limitar las máquinas modernas de inteligencia artificial a medida que aprenden a realizar esta tarea. Eso es algo que Tapaswi y compañía pronto descubrirán.

Mientras tanto, la base de datos estará disponible en línea en el nuevo año en: http://movieqa.cs.toronto.edu/home/ . Si la investigación de la IA no funciona, al menos debería ser útil para los concursos de pub.

Ref: http://arxiv.org/abs/1512.02902 : MovieQA: comprensión de historias en películas a través de preguntas y respuestas

esconder