Por qué los humanos aprenden más rápido que la IA, por ahora

En 2013, DeepMind Technologies, entonces una empresa poco conocida, publicó un artículo innovador que mostraba cómo una red neuronal podría aprende a jugar videojuegos de los 80 como lo hacen los humanos —Mirando la pantalla. Estas redes luego pasaron a derrotar a los mejores jugadores humanos.

Unos meses después, Google compró la empresa por 400 millones de dólares. Desde entonces, DeepMind ha aplicado el aprendizaje profundo en una variedad de situaciones, la más famosa para superar a los humanos en el antiguo juego de Go.

Pero si bien este trabajo es impresionante, destaca una de las limitaciones significativas del aprendizaje profundo. En comparación con los humanos, las máquinas que utilizan esta tecnología tardan mucho tiempo en aprender. ¿Qué tiene el aprendizaje humano que nos permite desempeñarnos tan bien con relativamente poca experiencia?

Hoy recibimos una especie de respuesta gracias al trabajo de Rachit Dubey y sus colegas de la Universidad de California, Berkeley. Han estudiado la forma en que los humanos interactúan con los videojuegos para descubrir en qué tipo de conocimiento previo nos basamos para darles sentido.

Resulta que los humanos usamos una gran cantidad de conocimientos previos cada vez que nos enfrentamos a un nuevo juego. Y esto hace que los juegos sean significativamente más fáciles de jugar. Pero frente a juegos que no hacen uso de este conocimiento, los humanos se tambalean, mientras que las máquinas avanzan con dificultad exactamente de la misma manera.

Eche un vistazo al juego de computadora que se muestra arriba a la izquierda (el juego original). Este juego está basado en un clásico llamado Montezuma's Revenge, lanzado originalmente para la computadora Atari de 8 bits en 1984.

No hay manual ni instrucciones; ni siquiera te dicen qué sprite controlas. Y obtienes comentarios solo si terminas con éxito el juego.

¿Serías capaz de hacerlo? ¿Cuanto tiempo tardaría? Usted puede pruébalo en este sitio web (junto con los otros juegos mencionados en el documento) .

Con toda probabilidad, el juego te llevará alrededor de un minuto y, en el proceso, probablemente realices unas 3000 acciones de teclado. Eso es lo que Dubey y compañía encontraron cuando le dieron el juego a 40 trabajadores del sitio de crowdsourcing de Amazon, Mechanical Turk, a quienes les ofrecieron $1 para terminarlo.

Esto no es demasiado sorprendente, ya que uno podría adivinar fácilmente que el objetivo del juego es mover el duende del robot hacia la princesa pisando los objetos que parecen ladrillos y usando escaleras para llegar a las plataformas más altas mientras evita el rosa enojado y los objetos de fuego, el dicen los investigadores.

Por el contrario, el juego es difícil para las máquinas: muchos algoritmos estándar de aprendizaje profundo no pudieron resolverlo en absoluto, porque no hay forma de que un algoritmo evalúe el progreso dentro del juego cuando la retroalimentación proviene solo de terminar.

El mejor desempeño de la máquina fue un algoritmo de aprendizaje por refuerzo basado en la curiosidad que tomó alrededor de cuatro millones de acciones del teclado para terminar el juego. Eso equivale a unas 37 horas de juego continuo.

Entonces, ¿qué hace que los humanos sean mucho mejores? Resulta que no nos acercamos a este juego con una pizarra en blanco. Un humano verá que él o ella tiene control sobre el robot, y que el robot debe evitar el fuego, subir escaleras, saltar huecos y evitar a un enemigo con el ceño fruncido para alcanzar a la princesa. Todo esto es gracias al conocimiento previo de que ciertos objetos son buenos mientras que otros (con el ceño fruncido o con llamas) son malos, que las plataformas soportan objetos mientras que las escaleras se pueden subir, que las cosas que se ven iguales se comportan de la misma manera, que la gravedad tira de los objetos hacia abajo , e incluso qué son los objetos: cosas que están separadas de otras cosas y tienen propiedades diferentes.

Por el contrario, una máquina no sabe nada de esto.

Así que Dubey y compañía remodelaron el juego para hacer que esta información previa fuera irrelevante y luego midieron cuánto tiempo les tomó a los turcos humanos terminarlo. Luego, el equipo asumió que cualquier aumento en este tiempo es un indicador de la importancia de esa información.

Creamos diferentes versiones del videojuego volviendo a renderizar varias entidades como escaleras, enemigos, llaves, plataformas, etc. usando texturas alternativas, explican. Eligieron estas texturas para enmascarar varias formas de conocimiento previo y cambiaron las propiedades físicas del juego, como el efecto de la gravedad y la forma en que el agente interactúa con su entorno. En todas las versiones, la dinámica subyacente del juego era la misma.

Los resultados son una lectura fascinante. Descubrimos que la eliminación de algunos conocimientos previos provoca una degradación drástica en la velocidad con la que los jugadores humanos resuelven el juego, dicen Dubey y compañía. De hecho, el tiempo que tardan los humanos en resolver el juego aumenta de un minuto a más de 20 minutos a medida que se eliminan diferentes tipos de información previa.

Por el contrario, la eliminación de esta información generalmente no hace ninguna diferencia en la velocidad a la que aprende el algoritmo de la máquina.

El equipo incluso puede clasificar diferentes tipos de información según su importancia según el aumento de tiempo que provoca su eliminación. Eliminar la semántica de objetos, como una cara con el ceño fruncido o un símbolo de fuego, requiere que los jugadores humanos pasen más tiempo antes de terminar. Pero enmascarar el concepto de objeto hace las cosas mucho más difíciles que muchos turcos simplemente se negaron a jugar. Tuvimos que aumentar el pago a $2.25 para animar a los participantes a no renunciar, dicen Dubey y compañía.

Este ranking tiene un vínculo interesante con la forma en que los humanos aprenden. Los psicólogos han descubierto que a los dos meses de edad, los bebés poseen una noción primitiva de los objetos que esperan mover como un todo conectado. Pero a esta edad, los bebés no reconocen categorías de objetos.

A los tres a cinco meses de edad, los bebés aprenden a reconocer categorías de objetos; entre los 18 y los 24 meses, aprenden a reconocer objetos individuales. Aproximadamente en este momento, también aprenden las propiedades de los objetos (capacidades de los objetos, como las llaman los psicólogos), y así aprenden la diferencia entre un paso que se puede caminar por un terreno plano y un paso que no se puede caminar por un acantilado.

Resulta que los experimentos de Dubey y compañía clasifican este tipo de información aprendida exactamente en el mismo orden en que la aprenden los bebés. Es bastante interesante notar que el orden en el que los bebés aumentan su conocimiento coincide con la importancia de los diferentes objetos previos, dicen.

Nuestro trabajo da los primeros pasos para cuantificar la importancia de varios antecedentes que los humanos emplean para resolver videojuegos y comprender cómo el conocimiento previo hace que los humanos sean buenos en tareas tan complejas, agregan.

Eso sugiere un camino interesante para los científicos informáticos que trabajan en inteligencia artificial: programar sus cargas con el mismo conocimiento básico que los humanos adquieren a una edad temprana. De esta manera, las máquinas deberían poder alcanzar a los humanos en su velocidad de aprendizaje, y tal vez incluso superarlos.

Estaremos ansiosos por ver los resultados.

Ref: arxiv.org/abs/1802.10217 : Investigación de antecedentes humanos para jugar videojuegos

esconder