La IA de debate de IBM está mucho más cerca de ser una herramienta útil

Sistema IBM Debater en Cambridge Investigación de IBM

Las computadoras nos han guiado a la luna y de regreso, pero no pueden ayudarnos con las decisiones más importantes que enfrentamos hoy. ¿Debe Donald Trump ser acusado y destituido de su cargo? ¿Debe Gran Bretaña abandonar la UE? ¿Debe Australia dejar de exportar combustibles fósiles? Preguntas como estas no tienen respuestas fáciles de sí o no, por muy tentador que sea pensar lo contrario.

Tomamos decisiones sopesando pros y contras. La inteligencia artificial tiene el potencial de ayudarnos con eso al filtrar montones de datos cada vez mayores. Pero para ser verdaderamente útil, necesita razonar más como un ser humano. Hacemos uso de un lenguaje persuasivo y todo tipo de conocimientos previos que son muy difíciles de modelar en IA, dice Jacky Visser del Centro de Tecnología de Argumentos de la Universidad de Dundee, Reino Unido. Este ha sido uno de los santos griales desde que la gente empezó a pensar en la IA.

Una técnica central que se utiliza para ayudar a las máquinas a razonar, conocida como minería de argumentos, implica la creación de software para analizar documentos escritos y extraer oraciones clave que brinden evidencia a favor o en contra de una afirmación determinada. Estos se pueden ensamblar en un argumento. Además de ayudarnos a tomar mejores decisiones, estas herramientas podrían usarse para detectar noticias falsas, socavando afirmaciones dudosas y respaldando las que son fácticas, o para filtrar los resultados de búsqueda en línea, devolviendo declaraciones relevantes en lugar de documentos completos.

El trabajo de otros grupos sobre minería de argumentos se ha centrado en tipos específicos de textos, como documentos legales o ensayos de estudiantes, que tienden a contener muchos argumentos estructurados para empezar. Eso es útil si desea un resumen de todas las pruebas en muchos documentos diferentes en un caso legal, por ejemplo. Pero el objetivo final es construir un sistema que pueda rastrear tantas fuentes de información como sea posible y construir un argumento usando toda la evidencia que pueda encontrar.

IBM acaba de dar un gran paso en esa dirección. El equipo de Project Debater de la compañía ha pasado varios años desarrollando una IA que puede generar argumentos. El año pasado, IBM demostró su tecnología de trabajo en progreso en un debate en vivo contra un campeón mundial de debate humano, el equivalente al de Watson. ¡Peligro! confrontación. Tales acrobacias son divertidas y proporcionaron una prueba de concepto. Ahora IBM está convirtiendo su juguete en una herramienta realmente útil.

La versión de Project Debater utilizada en los debates en vivo incluía las semillas del último sistema, como la capacidad de buscar cientos de millones de artículos nuevos. Pero en los meses transcurridos desde entonces, el equipo modificó ampliamente las redes neuronales que utiliza, mejorando la calidad de la evidencia que el sistema puede descubrir. Una adición importante es BERT , una red neuronal creada por Google para el procesamiento del lenguaje natural, que puede responder consultas. El trabajo se presentará en la conferencia de la Asociación para el Avance de la Inteligencia Artificial en Nueva York el próximo mes.

Para entrenar su IA, el investigador principal Noam Slonim y sus colegas de IBM Research en Haifa, Israel, se basaron en 400 millones de documentos tomados de la base de datos LexisNexis de artículos de periódicos y revistas. Esto les dio unos 10 mil millones de oraciones, un corpus de lenguaje natural alrededor de 50 veces más grande que Wikipedia. Combinaron este vasto conjunto de pruebas con afirmaciones sobre varios cientos de temas diferentes, como la donación de sangre debería ser obligatoria o deberíamos abandonar el Día de San Valentín.

Luego pidieron a los trabajadores de la multitud en la plataforma de la Figura Ocho que etiquetaran las oraciones según proporcionaran o no evidencia a favor o en contra de afirmaciones particulares. Los datos etiquetados se alimentaron a un algoritmo de aprendizaje supervisado.

El red neuronal resultante puede manejar consultas sobre una amplia variedad de temas, devolviendo oraciones que son más relevantes que las identificadas por los sistemas anteriores. Clasifica las oraciones que encuentra de acuerdo a qué tan buenas son como evidencia. Por ejemplo, dada la afirmación de que la donación de sangre debería ser obligatoria, el software encontró la oración. Un estudio publicado en el American Journal of Epidemiology encontró que los donantes de sangre tienen un 88 por ciento menos de riesgo de sufrir un ataque cardíaco y un derrame cerebral.

Un gran desafío es diferenciar oraciones que proporcionen evidencia de otras que no, aunque contengan los mismos términos. Project Debater también encontró esta oración para el reclamo de donación de sangre, por ejemplo, pero pudo decir que ni la respaldó ni la socavó: las estadísticas del Banco de Sangre de Nakasero muestran que los estudiantes son los principales donantes de sangre, contribuyendo con alrededor del 80 por ciento de la sangre recolectada en todo el mundo.

Exactamente de qué se trata estas oraciones que la red neuronal recoge para hacer su clasificación no está claro, dice Slonim. Aún así, cuando se probó, Project Debater logró una precisión del 95 % para las 50 oraciones principales en 100 temas diferentes, dice, y agrega: Estos números son inauditos. Otros sistemas han hecho frente a sólo unas pocas docenas de temas. También es una gran mejora con respecto al sistema de debate en vivo que Slonim mostró el año pasado.

Otros investigadores con los que hablé, incluidos Visser y Oana Cocarascu, que estudia software de argumentación y procesamiento del lenguaje natural en el Imperial College de Londres, también quedaron impresionados con el nuevo sistema. Para Cocarascu, lo más emocionante es el potencial de las aplicaciones del mundo real. Un sistema entrenado en documentos legales no se adaptará a los diferentes tipos de evidencia que se encuentran en línea. El equipo de Slonim ha demostrado que Project Debater puede manejar esta amplia gama de fuentes. Eso es lo que lo hace genial, dice Cocarascu.

El equipo ahora está publicando sus datos de entrenamiento para que otros puedan trabajar con ellos. Visser quiere construir herramientas de minería de argumentos como Project Debater que puedan evaluar la calidad de los argumentos, buscando cosas como el sesgo cognitivo. Él y sus colegas han utilizado IA para evaluar la calidad de los argumentos en los debates presidenciales de EE. UU. de 2016, por ejemplo.

IBM está haciendo algo similar. A través de un complemento, llamado Speech by Crowd, Project Debater puede generar argumentos a favor y en contra de una propuesta y luego evaluar automáticamente la calidad de los argumentos presentados usando una red neuronal entrenada en un conjunto de datos de alrededor de 30,000 argumentos previamente calificados por humanos para la calidad.

IBM planea ofrecer Project Debater como plataforma para empresas y gobiernos. Vemos el futuro de Project Debater como un servicio en la nube de IA, dice Christopher Sciacca, un vocero de la compañía. En una aplicación de ejemplo, IBM recopiló 3500 opiniones de ciudadanos en Lugano, Suiza, sobre si la ciudad debería invertir en vehículos autónomos y usó la IA para extraer y evaluar argumentos a favor y en contra de la propuesta. El gobierno local podría usar los resultados para ayudar a tomar una decisión política.

Pero para Slonim, se trata de mejorar nuestra interacción con la IA a nivel personal. Los argumentos juegan un papel importante en la forma en que las personas se comunican: enumeramos las razones de nuestras elecciones, pedimos consejo, persuadimos y engatusamos. Hablar con asistentes virtuales que pudieran conversar a ese nivel se sentiría mucho más natural. Lo que estamos haciendo toca algo fundamental para nuestras vidas, dice. Estamos tratando de vincular las tecnologías de comprensión del idioma para ayudar a las personas a tomar mejores decisiones.

esconder