211service.com
El mejor programa de inteligencia artificial todavía suspende una prueba de ciencias de octavo grado
A pesar de todo el notable progreso que se está logrando en inteligencia artificial y las advertencias sobre la agitación que esto podría traer, la computadora más inteligente aún tendría dificultades para pasar el octavo grado.
Un concurso organizado por investigadores de la Instituto Allen de Inteligencia Artificial (AI2) , invitó a los programadores a crear un programa capaz de tomar una versión modificada de una prueba de ciencias convencional de octavo grado. Los resultados de la competencia fueron anunciados el martes en el reunión anual de la Asociación para el Avance de la Inteligencia Artificial (AAAI).
El ganador, un concursante con sede en Israel llamado Chaim Linhart, combinó varias técnicas establecidas de aprendizaje automático con grandes bases de datos de información científica para responder correctamente el 59 por ciento de las preguntas. Al igual que otros participantes, Linhart alimentó su sistema informático con cientos de miles de preguntas combinadas con respuestas correctas para que pudiera aprender a encontrar la respuesta correcta.
Una puntuación de casi el 60 por ciento podría decepcionar a la mayoría de los padres, pero es notable para una computadora. Sin embargo, la prueba utilizada para el concurso se simplificó ligeramente para que fuera práctico para las computadoras. Se eliminaron los diagramas, por ejemplo, y solo se utilizaron preguntas con respuestas de opción múltiple.
oren etzioni , un investigador de IA que dirige AI2, dice que el desafío de la prueba de octavo grado estaba destinado a impulsar a los investigadores a desarrollar software que no sea solo superficialmente inteligente.
En los últimos años, los programas diseñados para realizar tareas específicas, especialmente aquellos que involucran algún tipo de procesamiento visual o de audio, han avanzado rápidamente gracias a algoritmos de aprendizaje automático extremadamente eficientes, especialmente aquellos basados en grandes redes neuronales. Un ejemplo reciente impresionante es un programa de Google diseñado para jugar el sutil y computacionalmente complejo juego de mesa Go (ver Google's AI Masters the Game of Go una década antes de lo esperado).
Este progreso ha inspirado esperanzas y temores de que las máquinas verdaderamente inteligentes no estén tan lejos. Pero Etzioni cree que se necesitarán nuevas técnicas para lograr incluso la competencia básica en tareas más complejas, algo que los últimos resultados parecen confirmar. Del mismo modo, el mejor medio para medir el progreso de la inteligencia artificial, la prueba de Turing, ha demostrado ser demasiado fácil de manipular con trucos simples.
Tomas Dietterich , profesor de la Universidad Estatal de Oregón y presidente de AAAI, dice que el concurso AI2 es un ejercicio útil. Dietterich también dice que probablemente será necesario combinar diferentes técnicas de IA para lograr un puntaje de prueba mucho más alto en el futuro. Inteligencia es una palabra, pero se refiere a muchas cosas, dice. Una de las cosas que me gustan de esto es que enfatiza la amplitud de una manera que otras pruebas no lo han hecho.
Gary Marcus, científico cognitivo de la Universidad de Nueva York y fundador de una startup de IA llamada Inteligencia Geométrica , está trabajando en una competencia de IA que tendrá varios componentes diferentes. La inteligencia es una variable multidimensional, dice Marcus. No habrá una prueba que sea una medida divina de inteligencia.
Marcus agrega que la competencia AI2 en realidad destaca el tamaño del desafío que queda para los investigadores de IA. Puedes hacerlo mucho mejor que solo adivinar con algunas técnicas bastante primitivas, pero al mismo tiempo, el 60 por ciento está muy lejos de comprender realmente la ciencia, agrega. Lo mejor que sale de esto es que la gente puede darse cuenta de lo difíciles que son realmente las preguntas.
El concurso se organizó a través de Kaggle, una plataforma popular para coordinar concursos en los que los científicos de datos luchan para crear el algoritmo más eficiente para una tarea en particular, como predecir qué productos se venderán más según las ventas anteriores o el resultado del torneo March Madness. El año pasado, AI2 lanzó un gran conjunto de datos de preguntas y respuestas que permitieron a los participantes diseñar algoritmos para realizar la prueba (ver El software de IA se enfrenta a los estudiantes de cuarto grado en la prueba de ciencias).
Durante una charla en la conferencia AAAI, Etzioni sugirió que establecer una prueba más difícil, durante un período de tiempo más largo, con un premio mayor, podría inspirar a más investigadores de IA a involucrarse. Creo que se requerirá un concurso más largo y una IA 'más profunda' para obtener del 60 al 80 por ciento o más, dice Etzioni. Nuestra hipótesis es que no puedes hacer esto con trucos baratos, que tienes que hacer algo más inteligente.