Las oraciones confusas muestran que las IA todavía no entienden el lenguaje

Sra. Tecnología | Unsplash / Brett Jordan

Muchos Las IA que parecen entender el lenguaje y obtienen mejores puntajes que los humanos en un conjunto común de tareas de comprensión no se dan cuenta cuando las palabras en una oración están revueltas, lo que demuestra que realmente no entiendo el lenguaje en absoluto . El problema radica en la forma en que se entrenan los sistemas de procesamiento del lenguaje natural (NLP); también apunta a una forma de mejorarlos.

Historia relacionada

La forma en que entrenamos la IA es fundamentalmente defectuosa El proceso utilizado para construir la mayoría de los modelos de aprendizaje automático que usamos hoy en día no puede decir si funcionarán en el mundo real o no, y eso es un problema.

Investigadores de la Universidad de Auburn en Alabama y Adobe Research descubrió la falla cuando intentaron que un sistema de PNL generara explicaciones para su comportamiento, como por qué afirmaba que diferentes oraciones significaban lo mismo. Cuando probaron su enfoque, se dieron cuenta de que mezclar palabras en una oración no hacía ninguna diferencia en las explicaciones. Este es un problema general para todos los modelos de PNL, dice Anh Nguyen de la Universidad de Auburn, quien dirigió el trabajo.

El equipo analizó varios sistemas NLP de última generación basados ​​en BERT (un modelo de lenguaje desarrollado por Google que sustenta muchos de los sistemas más recientes, incluido GPT-3). Todos estos sistemas puntúan mejor que los humanos en PEGAMENTO (Evaluación general de comprensión del idioma), un conjunto estándar de tareas diseñadas para evaluar la comprensión del idioma, como detectar paráfrasis, juzgar si una oración expresa sentimientos positivos o negativos y razonamiento verbal.

Hombre muerde a perro: Descubrieron que estos sistemas no podían saber cuándo se mezclaban las palabras en una oración, incluso cuando el nuevo orden cambiaba el significado. Por ejemplo, los sistemas detectaron correctamente que las oraciones ¿La marihuana causa cáncer? y ¿Cómo fumar marihuana puede causarle cáncer de pulmón? eran paráfrasis. Pero estaban aún más seguros de que Fumar cáncer ¿Cómo puede dar el pulmón de marihuana? y Lung puede dar fumar marihuana como cáncer? también significaba lo mismo. Los sistemas también decidieron que las oraciones con significados opuestos, como ¿La marihuana causa cáncer? y ¿Causa el cáncer la marihuana?—estaban haciendo la misma pregunta.

La única tarea en la que importaba el orden de las palabras era aquella en la que los modelos tenían que comprobar la estructura gramatical de una oración. De lo contrario, entre el 75% y el 90% de las respuestas de los sistemas probados no cambiaron cuando se barajaron las palabras.

¿Que esta pasando? Los modelos parecen detectar algunas palabras clave en una oración, independientemente del orden en que aparezcan. No entienden el lenguaje como nosotros, y GLUE, un punto de referencia muy popular, no mide el uso real del lenguaje. En muchos casos, la tarea en la que se entrena un modelo no lo obliga a preocuparse por el orden de las palabras o la sintaxis en general. En otras palabras, GLUE enseña a los modelos de PNL a saltar a través de los aros.

Muchos investigadores han comenzado a usar un conjunto de pruebas más difíciles llamado SuperGLUE, pero Nguyen sospecha que tendrá problemas similares.

Este problema también ha sido identificado por Yoshua Bengio y sus colegas, quienes encontraron que reordenar palabras en una conversación a veces no cambiaba las respuestas que hacían los chatbots. Y un equipo de Facebook AI Research encontró ejemplos de esto que sucede con los chinos . El equipo de Nguyen muestra que el problema está muy extendido.

¿Importa? Depende de la aplicación. Por un lado, sería útil una IA que aún comprenda cuando comete un error tipográfico o dice algo confuso, como podría hacerlo otro ser humano. Pero, en general, el orden de las palabras es crucial al descifrar el significado de una oración.

arreglarlo ¿Cómo? La buena noticia es que puede que no sea demasiado difícil de arreglar. Los investigadores descubrieron que obligar a un modelo a centrarse en el orden de las palabras, entrenándolo para realizar una tarea en la que importaba el orden de las palabras (como detectar errores gramaticales), también hizo que el modelo se desempeñara mejor en otras tareas. Esto sugiere que ajustar las tareas para las que los modelos están capacitados los hará mejores en general.

Los resultados de Nguyen son otro ejemplo más de cómo los modelos a menudo se quedan cortos de lo que la gente cree que es capaz de hacer. Él piensa que resalta lo difícil que es hacer IA que entienden y razonan como los humanos . Nadie tiene idea, dice.

esconder