211service.com
Los asistentes de IA dicen tonterías y estamos a punto de descubrir por qué
hermano Reino Unido | Flickr
Siri y Alexa claramente están lejos de ser perfectos, pero existe la esperanza de que el progreso constante en el aprendizaje automático los convierta en ayudantes articulados en poco tiempo. Sin embargo, una nueva prueba puede ayudar a mostrar que se requiere un enfoque fundamentalmente diferente para que los sistemas de IA realmente dominen el lenguaje.
Desarrollado por investigadores del Instituto Allen para la IA (AI2), una organización sin fines de lucro con sede en Seattle, la Desafío de razonamiento AI2 (ARC) planteará preguntas de ciencia de opción múltiple a nivel de escuela primaria. Cada pregunta requerirá cierta comprensión de cómo funciona el mundo. El proyecto se describe en un documento relacionado trabajo de investigación (pdf).
Aquí hay una pregunta: ¿Cuál de los siguientes artículos no está hecho de un material que crece en la naturaleza? (A) una camisa de algodón (B) una silla de madera (C) una cuchara de plástico (D) una canasta de hierba
Tal pregunta es fácil para cualquiera que sepa que el plástico no es algo que crece. La respuesta aprovecha una imagen de sentido común del mundo que incluso los niños pequeños poseen.
Es este sentido común lo que le falta a la IA detrás de los asistentes de voz, los chatbots y el software de traducción. Y es una de las razones por las que se confunden tan fácilmente.
Los sistemas de lenguaje que se basan en el aprendizaje automático a menudo pueden proporcionar respuestas convincentes a las preguntas si han visto muchos ejemplos similares antes. Un programa entrenado en muchos miles de chats de soporte de TI, por ejemplo, podría hacerse pasar por un ayudante de soporte técnico en situaciones limitadas. Pero tal sistema fallaría si se le preguntara algo que requiriera un conocimiento más amplio.
Necesitamos usar nuestro sentido común para llenar los vacíos alrededor del lenguaje que vemos para formar una imagen coherente de lo que se dice, dice Peter Clark, investigador principal del proyecto ARC. Las máquinas no tienen este sentido común y, por lo tanto, solo ven lo que está escrito explícitamente y se pierden las muchas implicaciones y suposiciones que subyacen en un texto.
La nueva prueba es parte de una iniciativa en AI2 para imbuir a los sistemas de IA de tal comprensión del mundo. Y es importante porque determinar qué tan bien un sistema de lenguaje entiende lo que dice puede ser complicado.
Por ejemplo, en enero, los investigadores de Microsoft y otro grupo de Alibaba desarrollaron programas de preguntas y respuestas que superaron a los humanos en una prueba simple llamada Stanford Question Answering Dataset. Estos avances fueron acompañados por titulares que proclamaban que los programas de IA ahora podían leer mejor que los humanos. Pero los programas no podían responder a preguntas más complejas ni recurrir a otras fuentes de conocimiento.
Las empresas tecnológicas seguirán promocionando las capacidades de los sistemas de IA de esta manera. Microsoft anuncia hoy que ha desarrollado un software capaz de traducir noticias del inglés al chino y viceversa, con resultados que los voluntarios independientes consideran equivalentes al trabajo de traductores profesionales. Los investigadores de la empresa utilizaron técnicas avanzadas de aprendizaje profundo para alcanzar un nuevo nivel de precisión. Si bien esto es potencialmente muy útil, el sistema tendría problemas si se le pidiera que tradujera una conversación o texto de un dominio desconocido, como notas médicas.
marcus gary , un profesor de la Universidad de Nueva York que ha defendido la importancia del sentido común en la IA, se siente alentado por el desafío AI2. Creo que este es un gran antídoto para el tipo de puntos de referencia superficiales que se han vuelto tan comunes en el campo del aprendizaje automático, dice. Realmente debería obligar a los investigadores de IA a mejorar su juego.