Máquina de aprendizaje profundo supera a los humanos en prueba de coeficiente intelectual

Hace poco más de 100 años, el psicólogo alemán William Stern introdujo la prueba del coeficiente intelectual como una forma de evaluar la inteligencia humana. Desde entonces, las pruebas de coeficiente intelectual se han convertido en una característica estándar de la vida moderna y se utilizan para determinar la idoneidad de los niños para la escuela y la capacidad de los adultos para realizar trabajos.

Estas pruebas generalmente contienen tres categorías de preguntas: preguntas lógicas como patrones en secuencias de imágenes, preguntas matemáticas como encontrar patrones en secuencias de números y preguntas de razonamiento verbal, que se basan en analogías, clasificaciones, así como sinónimos y antónimos.

Es esta última categoría la que ha interesado a Huazheng Wang y sus amigos de la Universidad de Ciencia y Tecnología de China ya Bin Gao y sus amigos de Microsoft Research en Beijing. Las computadoras nunca han sido buenas en esto. Plantee una pregunta de razonamiento verbal a una máquina de procesamiento de lenguaje natural y su rendimiento será deficiente, mucho peor que la capacidad humana promedio.

Hoy, eso cambia gracias a Huazheng y sus amigos que han construido una máquina de aprendizaje profundo que supera la capacidad humana promedio para responder preguntas de razonamiento verbal por primera vez.

En los últimos años, los informáticos han utilizado técnicas de minería de datos para analizar grandes corpus de textos y encontrar los vínculos entre las palabras que contienen. En particular, esto les da una idea de las estadísticas de patrones de palabras, como la frecuencia con la que una palabra en particular aparece cerca de otras palabras. A partir de esto, es posible determinar cómo se relacionan las palabras entre sí, aunque en un espacio de parámetros enorme.

El resultado final es que las palabras pueden considerarse como vectores en este espacio de parámetros de alta dimensión. la ventaja es que luego se pueden tratar matemáticamente: comparar, sumar, restar como otros vectores. Esto lleva a relaciones vectoriales como esta: rey – hombre + mujer = reina.

Este enfoque ha tenido un gran éxito. Google lo usa para la traducción automática de idiomas al suponer que las secuencias de palabras en diferentes idiomas representadas por vectores similares tienen un significado equivalente. Por lo tanto, son traducciones entre sí.

Pero este enfoque tiene un defecto bien conocido: asume que cada palabra tiene un significado único representado por un vector único. No solo no suele ser el caso, las pruebas verbales tienden a centrarse en palabras con más de un significado como una forma de hacer que las preguntas sean más difíciles.

Huazheng y sus amigos abordan esto tomando cada palabra y buscando otras palabras que a menudo aparecen cerca en un gran corpus de texto. Luego usan un algoritmo para ver cómo se agrupan estas palabras. El paso final es buscar los diferentes significados de una palabra en un diccionario y luego hacer coincidir los grupos con cada significado.

Esto se puede hacer automáticamente porque la definición del diccionario incluye oraciones de muestra en las que la palabra se usa de diferentes maneras. Entonces, al calcular la representación vectorial de estas oraciones y compararlas con la representación vectorial en cada grupo, es posible hacerlas coincidir.

El resultado global es una forma de reconocer los múltiples sentidos diferentes que pueden tener algunas palabras.

Huazheng y sus amigos tienen otro truco bajo la manga para facilitar que una computadora responda preguntas de razonamiento verbal. Esto ocurre porque estas preguntas se dividen en varias categorías que requieren enfoques ligeramente diferentes para resolverlas.

Entonces, su idea es comenzar identificando la categoría de cada pregunta para que la computadora sepa qué estrategia de respuesta debe emplear. Esto es sencillo ya que las preguntas en cada categoría tienen estructuras similares.

Entonces, las preguntas que involucran analogías son como estas:

¿La isoterma es a la temperatura como la isobara es a? (i) atmósfera, (ii) viento, (iii) presión, (iv) latitud, (v) corriente.

y

Identifique dos palabras (una de cada paréntesis) que forman una conexión (analogía) cuando se combinan con las palabras en mayúsculas: CAPÍTULO (libro, verso, lectura), ACTO (escenario, audiencia, obra).

Las preguntas de clasificación de palabras son así:

¿Cuál es el impar hacia fuera? (i) tranquilo, (ii) tranquilo, (iii) relajado, (iv) sereno, (v) imperturbable.

Y las preguntas que buscan sinónimos y antónimos son como estas:

¿Qué palabra se acerca más a IRRACIONAL? (i) intransigente, (ii) irredimible, (iii) inseguro, (iv) perdido, (v) sin sentido.

Y

¿Qué palabra es más opuesta a MUSICAL? (i) discordante, (ii) ruidoso, (iii) lírico, (iv) verbal, (v) eufónico.

Detectar cada tipo de pregunta es relativamente sencillo para un algoritmo de aprendizaje automático, con suficientes ejemplos para aprender. Y así es exactamente como lo hacen Huazheng y compañía.

Habiendo identificado el tipo de pregunta, Huazheng y sus amigos luego diseñan un algoritmo para resolver cada una utilizando los métodos de vector estándar, pero también la actualización multisentido que han desarrollado.

Comparan esta técnica de aprendizaje profundo con otros enfoques algorítmicos para las pruebas de razonamiento verbal y también con la capacidad de los humanos para hacerlo. Para esto, plantearon las preguntas a 200 humanos reunidos a través de la instalación de colaboración abierta Mechanical Turk de Amazon junto con información básica sobre sus edades y antecedentes educativos.

Y los resultados son impresionantes. Para nuestra sorpresa, el rendimiento promedio de los seres humanos es un poco más bajo que el de nuestro método propuesto, dicen.

El desempeño humano en estas pruebas tiende a correlacionarse con la formación académica. Por lo tanto, las personas con educación secundaria tienden a obtener los peores resultados, mientras que las que tienen una licenciatura lo hacen mejor y las que tienen un doctorado se desempeñan mejor. Nuestro modelo puede alcanzar el nivel de inteligencia entre las personas con títulos de licenciatura y aquellos con maestrías, dicen Huazheng y compañía.

Es un trabajo fascinante que revela el potencial de las técnicas de aprendizaje profundo. Huazheng y compañía son claramente optimistas sobre los desarrollos futuros. Con los usos apropiados de las tecnologías de aprendizaje profundo, podríamos estar un paso más cerca de la verdadera inteligencia humana.

Actualmente, las técnicas de aprendizaje profundo se están extendiendo por las ciencias de la computación como un reguero de pólvora y la revolución que están creando aún se encuentra en sus primeras etapas. No se sabe a dónde nos llevará esta revolución, pero una cosa es segura: William Stern estaría asombrado.

Ref: arxiv.org/abs/1505.07909 : Resolver preguntas de comprensión verbal en la prueba de coeficiente intelectual mediante la incrustación de palabras impulsada por el conocimiento

esconder