Resultado de la prueba de coeficiente intelectual: máquina avanzada de inteligencia artificial coincide con la puntuación de un niño de cuatro años

Los rápidos avances en la tecnología de procesamiento de la información en los últimos años han creado dispositivos informáticos con poderes formidables. Durante mucho tiempo, estas máquinas han sido mejores que los humanos en aritmética, ciertos juegos como el ajedrez y, más recientemente, en tareas avanzadas de reconocimiento de patrones, como el reconocimiento facial.

Pero una pregunta pendiente es: ¿hasta qué punto estas capacidades se suman al equivalente de la inteligencia humana? Hoy, recibimos una especie de respuesta gracias al trabajo de Stellan Ohlsson en la Universidad de Illinois y algunos amigos que han puesto a prueba una de las máquinas de inteligencia artificial más poderosas del mundo utilizando una prueba de coeficiente intelectual estándar dada a los humanos.

Los resultados muestran que a pesar de que las computadoras se han vuelto mucho más poderosas en los últimos años, tienen que ponerse al día para igualar los niveles de rendimiento humano.

Primero algunos antecedentes. La ciencia de medir las habilidades y el desempeño humano se conoce como psicometría. Cuando se trata de inteligencia humana, la prueba psicométrica más aceptada es el coeficiente intelectual o prueba de coeficiente intelectual.

Este consta de dos partes. El primero es un conjunto de preguntas diseñadas para probar varios aspectos del desempeño humano. La segunda es una base de datos de resultados de pruebas con la que se pueden comparar resultados futuros. Así es como se califica a los humanos; como por encima o por debajo del promedio en comparación con la base de datos, por ejemplo.

Las pruebas de coeficiente intelectual también están diseñadas para evaluar a los humanos en diferentes etapas de sus vidas. Por lo tanto, es poco probable que una prueba diseñada para adultos brinde mucha información sobre el desempeño de niños de 10 o 4 años. Por lo tanto, el proceso de diseño de pruebas y creación de la base de datos de resultados de pruebas debe realizarse para cada uno de estos grupos.

A lo largo de los años, los informáticos han creado una serie de máquinas de IA que han intentado obtener una comprensión racional del mundo que les rodea. Uno de los más famosos, llamado ConceptNet, ha estado en desarrollo en el MIT desde la década de 1990.

Para medir su inteligencia, Ohlsson y compañía usaron una prueba de coeficiente intelectual verbal diseñada para niños para probar ConceptNet 4 (ConceptNet 5 ya se lanzó).

Esta prueba, conocida como la Escala de inteligencia preescolar y primaria de Wechsler, mide el desempeño de los niños en cinco categorías: información, vocabulario, razonamiento de palabras, comprensión y similitudes.

La categoría de información contiene preguntas como: ¿Dónde puedes encontrar un pingüino?

La categoría de vocabulario contiene preguntas como: ¿Qué es ___? como en ¿Qué es una casa?

En el razonamiento de palabras, un niño debe identificar algo a partir de tres pistas, tales como: puedes ver a través de él, es cuadrado y puedes abrirlo.

Las preguntas de semejanzas son de la forma: Termina lo que digo. X e Y son ambos ___ como en Termina lo que digo. La pluma y el lápiz son ambos ___. Esto requiere que el niño comprenda dos conceptos y encuentre la superposición entre ellos.

Y finalmente, las preguntas de comprensión son de la forma: ¿Por qué la gente se da la mano? Esto requiere la construcción de una explicación y, por lo tanto, va más allá de la mera recuperación de información.

Ohlsson y sus colegas administraron esta prueba alimentando las preguntas a la máquina de IA en una forma modificada. Esto requirió un poco de programación para permitir que las preguntas se interconectaran con la estructura de conocimiento de la computadora sobre el mundo.

Y los resultados hacen una lectura interesante. ConceptNet lo hace bien en Vocabulario y Similitudes, mediocre en Información y mal en Razonamiento y Comprensión de Palabras, dicen Ohlsson y compañía.

En particular, las respuestas que dio fueron muy sensibles a la forma en que interpretó la pregunta. Por ejemplo, en la categoría de comprensión, se le preguntó a la máquina ¿Por qué nos damos la mano?

Para ConceptNet 4, esto se reduce a una búsqueda relacionada con tres conceptos, dos conceptos de una palabra de apretón de manos y un concepto de dos palabras de apretón de manos. Si utiliza todos estos conceptos para buscar una respuesta, produce un ataque epiléptico.

Sin embargo, obligar a la máquina a considerar solo conceptos únicos produce respuestas mucho más satisfactorias gracias, coquetear y conocer a un amigo.

Pero eso no siempre funciona. Por ejemplo, en la categoría de información, se le preguntó a la máquina ¿dónde puede encontrar un maestro?

La máquina descompone esto en una solicitud de tres conceptos diferentes: los de encontrar y maestro y el concepto de dos palabras encontrar maestro. Usando todo esto, da la respuesta correcta como Pero si Ohlsson y compañía lo obligan a considerar solo el concepto de dos palabras encontrar maestro, da las respuestas desconcertantes banda o piano.

No está claro por qué tiene problemas con este tipo de razonamiento en ciertas circunstancias.

Además, muchas de las respuestas incorrectas son completamente diferentes a las que darían los niños. Por ejemplo, en la categoría de razonamiento de palabras, ConceptNet 4 recibió las siguientes pistas: este animal tiene melena si es macho, este es un animal que vive en África y este es un gato grande de color marrón amarillento.

Pero sus cinco respuestas principales fueron: perro, granja, criatura, hogar y gato.

Eso es extraño. El sentido común debería, como mínimo, limitar la respuesta a los animales, y también debería hacer la simple inferencia de que, si las pistas dicen que es un gato, entonces los tipos de gatos son las únicas alternativas a considerar, dicen Ohlsson y compañía.

Todo esto apuntaba a Ohlsson y compañía a una conclusión clara. El sistema ConceptNet obtuvo un VIQ WPPSI-III que es promedio para un niño de cuatro años, pero por debajo del promedio para niños de cinco a siete años, dicen.

Ese es un resultado interesante. Por supuesto, hay varias formas de mejorar la prueba. Una es darle a la computadora capacidades de procesamiento de lenguaje natural. Eso reduciría su dependencia de la programación necesaria para ingresar las preguntas y es algo que ya es posible con asistentes en línea como Siri, Cortana y Google Now.

Quizás el punto más significativo es que este trabajo se realizó en una versión de ConceptNet 4 que data de 2012. La inteligencia artificial ha cambiado rápidamente desde entonces. El principal cambio ha sido pasar de la recopilación de conocimientos a estar orientado al aprendizaje. Estos sistemas ahora analizan vastas bases de datos de información para obtener información sobre el lenguaje, las imágenes y otros aspectos del mundo. Esto ha llevado a una mejora exponencial en el rendimiento de muchas tareas, como el reconocimiento facial.

Tomando el resultado de Ohlsson y compañía al pie de la letra, se necesitaron 60 años de investigación de IA para construir una máquina en 2012 que puede acercarse a igualar el razonamiento de sentido común de un niño de cuatro años. Pero la naturaleza de las mejoras exponenciales plantea la posibilidad de que los próximos seis años puedan producir mejoras igualmente dramáticas.

Entonces, una pregunta que deberíamos considerar con urgencia es: ¿con qué tipo de máquina de IA podríamos estar lidiando en 2018?

Ref: arxiv.org/abs/1509.03390 : Medición del rendimiento de un sistema de inteligencia artificial en una prueba de coeficiente intelectual verbal para niños pequeños

esconder