La IA todavía no tiene el sentido común para entender el lenguaje humano

Escritura borrosa en la pared Pexels/Jimmy Chan

Hasta hace muy poco, las computadoras eran inútiles para producir oraciones que realmente tuvieran sentido. Pero el campo del procesamiento del lenguaje natural (NLP, por sus siglas en inglés) ha dado grandes pasos, y las máquinas ahora pueden generar pasajes convincentes con solo presionar un botón.

Estos avances han sido impulsados ​​​​por técnicas de aprendizaje profundo, que seleccionan patrones estadísticos en el uso de palabras y la estructura de argumentos de grandes cantidades de texto. pero un nuevo papel del Instituto Allen de Inteligencia Artificial llama la atención sobre algo que aún falta: las máquinas realmente no entienden lo que están escribiendo (o leyendo).

Este es un desafío fundamental en la gran búsqueda de la IA generalizable, pero más allá de la academia, también es relevante para los consumidores. Los chatbots y los asistentes de voz basados ​​en modelos de lenguaje natural de última generación, por ejemplo, se han convertido en la interfaz para muchos instituciones financieras , proveedores de servicios de salud , y agencias gubernamentales . Sin una comprensión genuina del idioma, estos sistemas son más propensos a fallar, lo que ralentiza el acceso a servicios importantes.

Los investigadores se basaron en el trabajo del Desafío de esquema de Winograd , una prueba creada en 2011 para evaluar el razonamiento de sentido común de los sistemas de PNL. El desafío utiliza un conjunto de 273 preguntas que involucran pares de oraciones que son idénticas excepto por una palabra. Esa palabra, conocida como disparador, cambia el significado del pronombre de cada oración, como se ve en el siguiente ejemplo:

• El trofeo no cabe en la maleta marrón porque su también grande .
• El trofeo no cabe en la maleta marrón porque su también pequeña .

Para tener éxito, un sistema de PNL debe averiguar a cuál de las dos opciones se refiere el pronombre. En este caso, sería necesario seleccionar trofeo para el primero y maleta para el segundo para solucionar correctamente el problema.

La prueba se diseñó originalmente con la idea de que tales problemas no podrían responderse sin una comprensión más profunda de la semántica. Los modelos de aprendizaje profundo de última generación ahora pueden alcanzar alrededor del 90 % de precisión, por lo que parece que la PNL se ha acercado más a su objetivo. Pero en su artículo, que recibirá el Premio al artículo destacado en la conferencia AAAI del próximo mes, los investigadores desafían la efectividad del punto de referencia y, por lo tanto, el nivel de progreso que el campo realmente ha logrado.

Crearon un conjunto de datos significativamente más grande, denominado WinoGrande, con 44 000 de los mismos tipos de problemas. Para hacerlo, diseñaron un esquema de crowdsourcing para crear y validar rápidamente nuevos pares de oraciones. (Parte de la razón por la que el conjunto de datos de Winograd es tan pequeño es que fue elaborado a mano por expertos). Los trabajadores de Amazon Mechanical Turk crearon nuevas oraciones con las palabras requeridas seleccionadas a través de un procedimiento de aleatorización. Luego, cada par de oraciones se entregó a tres trabajadores adicionales y se mantuvo solo si cumplía con tres criterios: al menos dos trabajadores seleccionaron las respuestas correctas, los tres consideraron que las opciones no eran ambiguas y las referencias del pronombre no podían deducirse a través de asociaciones de palabras simples.

Como paso final, los investigadores también ejecutaron el conjunto de datos a través de un algoritmo para eliminar la mayor cantidad posible de artefactos: patrones de datos no intencionales o correlaciones que podrían ayudar a un modelo de lenguaje a llegar a las respuestas correctas por razones equivocadas. Esto redujo la posibilidad de que un modelo pudiera aprender a jugar con el conjunto de datos.

Cuando probaron modelos de última generación en estos nuevos problemas, el rendimiento cayó entre 59,4% y 79,1%. Por el contrario, los humanos todavía alcanzaron un 94% de precisión. Esto significa que una puntuación alta en la prueba original de Winograd probablemente esté inflada. Es solo un logro específico de un conjunto de datos, no un logro de una tarea general, dice Yejin Choi, profesor asociado de la Universidad de Washington y gerente senior de investigación en AI2, quien dirigió la investigación.

Choi espera que el conjunto de datos sirva como un nuevo punto de referencia. Pero también espera que inspire a más investigadores a mirar más allá del aprendizaje profundo. Los resultados le enfatizaron que los verdaderos sistemas de PNL de sentido común deben incorporar otras técnicas, como los modelos de conocimiento estructurado. Ella trabajo previo ha mostrado una promesa significativa en esta dirección. De alguna manera necesitamos encontrar un plan de juego diferente, dice ella.

El periódico ha recibido algunas críticas. Ernest Davis, uno de los investigadores que trabajó en el desafío original de Winograd, dice que muchos de los pares de oraciones de ejemplo enumerados en el documento tienen fallas graves y una gramática confusa. No se corresponden con la forma en que las personas que hablan inglés realmente usan los pronombres, escribió en un correo electrónico.

Pero Choi señala que los modelos verdaderamente robustos no deberían necesitar una gramática perfecta para comprender una oración. Las personas que hablan inglés como segundo idioma a veces confunden su gramática pero aún transmiten su significado.

Los humanos pueden entender fácilmente de qué se tratan nuestras preguntas y seleccionar la respuesta correcta, dice, refiriéndose a la precisión de rendimiento del 94%. Si los humanos deberían poder hacer eso, mi posición es que las máquinas también deberían poder hacerlo.

Para recibir más historias como esta directamente en su bandeja de entrada, suscríbase a nuestro boletín informativo de IA nominado por Webby, The Algorithm. Es gratis.

esconder