Google DeepMind enseña a las máquinas de inteligencia artificial a leer

Una revolución en inteligencia artificial se está extendiendo actualmente por la informática. La técnica se llama aprendizaje profundo y está afectando todo, desde el rostro y la voz hasta la moda y la economía.

Pero un área que aún no se ha beneficiado es el procesamiento del lenguaje natural: la capacidad de leer un documento y luego responder preguntas al respecto. Eso se debe en parte a que las máquinas de aprendizaje profundo primero deben aprender su oficio a partir de vastas bases de datos que se anotan cuidadosamente para ese propósito. Sin embargo, estos simplemente no existen en tamaño suficiente para ser útiles.

Hoy, eso cambia gracias al trabajo de Karl Moritz Hermann en Google DeepMind en Londres y algunos amigos. Estos muchachos dicen que la forma especial en que el Daily Mail y la CNN escriben artículos de noticias en línea les permite ser utilizados de esta manera. Y el gran volumen de artículos disponibles en línea crea, por primera vez, una base de datos que las computadoras pueden usar para aprender y luego responder. En otras palabras, DeepMind está utilizando artículos de Daily Mail y CNN para enseñar a las computadoras a leer.

La revolución del aprendizaje profundo se ha producido en gran parte debido a dos avances. El primero está relacionado con las redes neuronales, donde los informáticos han desarrollado nuevas técnicas para entrenar redes con muchas capas, una tarea que ha sido complicada por la cantidad de parámetros que deben ajustarse. Las nuevas técnicas esencialmente producen redes confeccionadas que están listas para aprender.

Pero una red neuronal es de poca utilidad sin una base de datos de la que aprender. Dicha base de datos debe anotarse cuidadosamente para que la máquina tenga un estándar de oro para aprender. Por ejemplo, para el reconocimiento de rostros, la base de datos de capacitación debe contener imágenes en las que se identifiquen claramente los rostros y sus posiciones en el marco. Y para que las imágenes cubran la mayor cantidad posible de arreglos faciales, las bases de datos deben ser enormes.

Eso ha sido posible recientemente gracias a los servicios de crowdsourcing como Mechanical Turk de Amazon. Varios equipos han creado este tipo de base de datos estándar de oro al mostrar imágenes de personas y pedirles que dibujen cuadros delimitadores alrededor de las caras que contienen.

Pero crear una base de datos con anotaciones similares para la palabra escrita es mucho más difícil. Claro, es posible extraer oraciones que contengan puntos importantes. Pero estos no son de mucha ayuda porque cualquier algoritmo de máquina aprende rápidamente a buscar en el texto la misma frase, una tarea trivial para una computadora.

En cambio, la anotación debe describir el contenido del texto pero sin aparecer dentro de él. Para comprender el vínculo, un algoritmo de aprendizaje debe mirar más allá de la mera aparición de palabras y frases, sino también sus vínculos gramaticales y relaciones causales.

Crear una base de datos de este tipo es más fácil decirlo que hacerlo. Los científicos informáticos han generado versiones pequeñas a mano, pero son demasiado pequeñas para ser de mucha utilidad para una red neuronal. Y parece que hay pocas posibilidades de crear a mano más grandes porque los humanos generalmente son malos para anotar el texto con precisión, a menos que sean editores especializados.

Ingrese al sitio web de Daily Mail, MailOnline y CNN en línea. Estos sitios muestran noticias con los puntos principales de la historia que se muestran como viñetas que se escriben independientemente del texto. De importancia clave es que estos puntos de resumen son abstractos y no copian simplemente oraciones de los documentos, dicen Hermann y compañía.

Eso sugiere inmediatamente una forma de crear una base de datos anotada: tome los artículos de noticias como los textos y los resúmenes de viñetas como la anotación.

Sin embargo, el equipo de DeepMind va más allá. Señalan que todavía es posible encontrar la respuesta a muchas consultas utilizando enfoques simples de búsqueda de palabras.

Dan el siguiente ejemplo de un tipo de problema conocido como consulta Cloze, que los algoritmos de aprendizaje automático a menudo se utilizan para resolver. Aquí, el objetivo es identificar a X en estos titulares modificados del Daily Mail: a) El sostén de alta tecnología que te ayuda a vencer el pecho X; b) ¿Podría la sacarina ayudar a vencer a X?; c) ¿Pueden los aceites de pescado ayudar a combatir la próstata X?

Hermann y compañía señalan que un tipo simple de algoritmo de minería de datos llamado búsqueda de ngram podría encontrar fácilmente la respuesta al buscar las palabras que aparecen con mayor frecuencia junto a todas estas frases. La respuesta, por supuesto, es la palabra cáncer.

Para frustrar este tipo de solución, Hermann y compañía anonimizan el conjunto de datos reemplazando los actores en oraciones con una descripción genérica. Un ejemplo de un texto original del Daily Mail es este: El productor de la BBC supuestamente golpeado por Jeremy Clarkson no presentará cargos contra el presentador de Top Gear, dijo su abogado el viernes. Clarkson, quien presentaba uno de los programas de televisión más vistos del mundo, fue despedido por la BBC el miércoles después de que una investigación interna de la emisora ​​británica descubriera que había sometido al productor Oisin Tymon a un ataque físico y verbal no provocado.

Una versión anonimizada de este texto sería la siguiente:
El ent381 productor presuntamente golpeado por ent212 no presentará cargos contra el ent153 anfitrión, dijo su abogado el viernes. ent212 , que presentaba uno de los programas de televisión más vistos del mundo, fue descartado por el ent381 miércoles después de una investigación interna del ent180 locutor descubrió que había sometido al productor ent193 a un ataque físico y verbal no provocado.

De esta forma es posible convertir la siguiente consulta tipo Cloze para identificar X de El productor X no presentará cargos contra Jeremy Clarkson, dice su abogado a El Productor X no presentará cargos contra ent212 , dice su abogado .

Y la respuesta requerida cambia de Oisin Tymon a ent212 .

De esa manera, el actor anonimizado solo es posible identificarlo con algún tipo de comprensión de los vínculos gramaticales y las relaciones causales entre las entidades de la historia.

La base de datos resultante es enorme y consta de 110 000 artículos de CNN y 218 000 artículos del sitio web Daily Mail.

Habiendo creado este tipo de base de datos por primera vez, Hermann y compañía no pueden resistirse a usarla para poner a prueba varias técnicas de aprendizaje automático. Comparan las técnicas convencionales de procesamiento del lenguaje natural, como medir la distancia entre combinaciones de palabras, y enfoques de redes neuronales más modernos.

Los resultados muestran claramente cuán poderosas se han vuelto las redes neuronales. Hermann y compañía dicen que las mejores redes neuronales pueden responder el 60 por ciento de las consultas que se les plantean. Sugieren que estas máquinas pueden responder todas las consultas que están estructuradas de una manera simple y solo tienen problemas con las consultas que tienen estructuras gramaticales más complejas.

Hay algunas advertencias, por supuesto. La más obvia es que los artículos del Daily Mail y CNN tienen una estructura subyacente muy específica que difiere de otras formas de escritura no periodísticas. No está claro cómo esta estructura subyacente influye en los resultados.

Tampoco está claro cómo se comparan estas máquinas con las capacidades humanas, algo que sería fácil de descubrir utilizando servicios como Mechanical Turk. Eso pondría en contexto la afirmación de DeepMind, implícita en el título de su artículo, de que estas máquinas están aprendiendo a comprender lo que leen.

Sin embargo, este es un trabajo interesante que sienta las bases para algunos desarrollos fascinantes en un futuro próximo. Se acerca la lectura automática; la única pregunta es qué tan rápido.

Ref: arxiv.org/abs/1506.03340 : Máquinas que enseñan a leer y comprender

esconder