El campo del procesamiento del lenguaje natural persigue el objetivo equivocado

Sra. Tecnología | Unsplash

En una típica reunión anual de la Asociación de Lingüística Computacional (ACL), el programa es un desfile de títulos como Un codificador automático variacional estructurado para la flexión morfológica contextual. El mismo sabor técnico impregna los artículos, las charlas de investigación y muchas charlas en los pasillos.

en la de este año conferencia en julio, sin embargo, algo se sintió diferente, y no fue solo el formato virtual. Las conversaciones de los asistentes fueron inusualmente introspectivas sobre los métodos y objetivos centrales del procesamiento del lenguaje natural (NLP), la rama de la IA enfocada en la creación de sistemas que analizan o generan el lenguaje humano. Papeles en la nueva edición de este año Pista temática preguntas como: ¿Son los métodos actuales De Verdad suficiente para lograr los objetivos finales del campo? Qué incluso son esos objetivos?

Mis colegas y yo en Cognición elemental , una firma de investigación de IA con sede en Connecticut y Nueva York, ven la angustia como justificada. De hecho, creemos que el campo necesita una transformación, no solo en el diseño de sistemas, sino en un área menos glamorosa: la evaluación.

El espíritu actual de la PNL surgió de media década de mejoras constantes bajo el paradigma de evaluación estándar. La capacidad de los sistemas para comprender generalmente se ha medido en conjuntos de datos de referencia que consta de miles de preguntas, cada una acompañada de pasajes que contienen la respuesta. Cuando las redes neuronales profundas barrieron el campo a mediados de la década de 2010, trajeron un salto cuántico en el rendimiento. Las rondas de trabajo posteriores mantuvieron los puntajes cada vez más cerca del 100% (o al menos a la paridad con los humanos).

Entonces, los investigadores publicarían nuevos conjuntos de datos de incluso más complicado preguntas , solo para ver redes neuronales aún más grandes que publican rápidamente puntajes impresionantes. Gran parte de la investigación de comprensión de lectura actual implica ajustar cuidadosamente los modelos para obtener algunos puntos porcentuales más en los últimos conjuntos de datos. El estado del arte se ha convertido prácticamente en un nombre propio: Le ganamos a SOTA en Equipo por 2,4 puntos!

Pero muchos personas en el campo están cada vez más cansados ​​​​de tal persecución de la tabla de clasificación. ¿Qué ha ganado realmente el mundo si una red neuronal masiva logra SOTA en algún punto de referencia por un punto o dos? No es que a nadie le importe responder estas preguntas por su propio bien; ganar la clasificación es un ejercicio académico que puede no mejorar las herramientas del mundo real. De hecho, muchas mejoras aparentes surgen no de las habilidades generales de comprensión, sino de la extraordinaria habilidad de los modelos para explotando espurio patrones en los datos ¿Los avances recientes realmente se traducen en ayudar a las personas a resolver problemas?

Tales dudas son más que inquietudes abstractas; si los sistemas son verdaderamente competentes en la comprensión del lenguaje tiene mucho en juego para la sociedad. Por supuesto, la comprensión implica una amplia colección de habilidades. Para aplicaciones más simples, como recuperar datos de Wikipedia o evaluar el sentimiento en las reseñas de productos, los métodos modernos hacerlo bastante bien . Pero cuando las personas imaginan computadoras que comprenden el lenguaje, imaginan comportamientos mucho más sofisticados: herramientas legales que ayudan a las personas a analizar sus problemas; asistentes de investigación que sintetizan información de toda la web; robots o personajes de juegos que llevan a cabo instrucciones detalladas.

Los modelos de hoy no están ni cerca de lograr ese nivel de comprensión, y no está claro que otro artículo de SOTA acerque más el campo.

¿Cómo terminó la comunidad de PNL con tal brecha entre las evaluaciones en papel y la habilidad del mundo real? en una LCA papel de posición , mis colegas y yo argumentamos que en la búsqueda por alcanzar puntos de referencia difíciles, las evaluaciones han perdido de vista los objetivos reales: esas sofisticadas aplicaciones posteriores. Tomando prestada una línea del artículo, los investigadores de PNL se han estado entrenando para convertirse en velocistas profesionales mirando alrededor del gimnasio y adoptando cualquier ejercicio que parezca difícil.

Para que las evaluaciones estén más en línea con los objetivos, es útil considerar qué frena los sistemas actuales.

Un ser humano que lea un pasaje construirá una representación detallada de entidades, ubicaciones, eventos y sus relaciones, un modelo mental del mundo descrito en el texto. Luego, el lector puede completar los detalles que faltan en el modelo, extrapolar una escena hacia adelante o hacia atrás, o incluso formular hipótesis sobre alternativas contrafácticas.

Este tipo de modelado y razonamiento es precisamente lo que deben hacer los asistentes de investigación automatizados o los personajes del juego, y notoriamente falta en los sistemas actuales. Un investigador de PNL generalmente puede confundir un sistema de comprensión de lectura de última generación en unos pocos intentos. Una técnica confiable es sondear el modelo del mundo del sistema, que puede dejar incluso al tan cacareado GPT-3 balbuceo sobre briznas de hierba ciclóptica.

Imbuir a los lectores automatizados con modelos mundiales requerirá importantes innovaciones en el diseño del sistema, como se analiza en varios pista temática envíos . Pero nuestro argumento es más básico: independientemente de cómo se implementen los sistemas, si necesitan tener modelos mundiales fieles, entonces las evaluaciones deberían probar sistemáticamente si tienen modelos mundiales fieles.

Dicho tan claramente, puede sonar obvio, pero rara vez se hace. Grupos de investigación como el Instituto Allen para la IA tener propuesto otras formas de endurecer las evaluaciones, como apuntar a diversas estructuras lingüísticas, hacer preguntas que se basen en múltiples pasos de razonamiento, o incluso simplemente agregando muchos puntos de referencia . Otros investigadores, como Yejin Choi El grupo de la Universidad de Washington, se han centrado en probar común sentido , que incorpora aspectos de un modelo mundial. Dichos esfuerzos son útiles, pero generalmente aún se enfocan en recopilar preguntas que los sistemas actuales luchan por responder.

Estamos proponiendo un cambio más fundamental: para construir evaluaciones más significativas, los investigadores de NLP deben comenzar especificando minuciosamente qué debe contener el modelo mundial de un sistema para que sea útil para las aplicaciones posteriores. Llamamos a tal cuenta una plantilla de entendimiento.

Un banco de pruebas particularmente prometedor para este enfoque son las historias de ficción. Las historias originales son ricas en información, no se pueden buscar en Google y son fundamentales para muchas aplicaciones, lo que las convierte en una prueba ideal de las habilidades de comprensión de lectura. Basándose en la literatura de ciencia cognitiva sobre lectores humanos, nuestro CEO david ferrucci ha propuesto una plantilla de cuatro partes para probar la capacidad de un sistema de inteligencia artificial para comprender historias.

• Espacial: ¿Dónde se encuentra todo y cómo se posiciona a lo largo de la historia?
• Temporal: ¿Qué eventos ocurren y cuándo?
• Causal: ¿Cómo conducen mecánicamente los eventos a otros eventos?
• Motivacional: ¿Por qué los personajes deciden realizar las acciones que realizan?

Al hacer sistemáticamente estas preguntas sobre todas las entidades y eventos en una historia, los investigadores de PNL pueden calificar la comprensión de los sistemas de una manera basada en principios, investigando los modelos del mundo que los sistemas realmente necesitan.

Es alentador ver a la comunidad de PNL reflexionar sobre lo que falta en las tecnologías actuales. Esperamos que este pensamiento conduzca a una inversión sustancial no solo en nuevos algoritmos, sino también en formas nuevas y más rigurosas de comprensión de las máquinas de medición. Tal trabajo puede no generar tantos titulares, pero sospechamos que la inversión en esta área impulsará el campo al menos tanto como el próximo modelo gigantesco.

Jesse Dunietz es investigador en Cognición elemental , donde trabaja en el desarrollo de evaluaciones rigurosas para los sistemas de comprensión lectora. También es diseñador educativo para el MIT Laboratorio de comunicación y un escritor científico .

esconder