Cómo el truco de la memoria de DeepMind ayuda a la IA a aprender más rápido

Las máquinas inteligentes tienen a los humanos en la mira. Las máquinas de aprendizaje profundo ya tienen habilidades sobrehumanas cuando se trata de tareas como el reconocimiento facial, los videojuegos e incluso el antiguo juego chino de Go. Entonces, es fácil pensar que los humanos ya están superados en armas.

Pero no tan rápido. Las máquinas inteligentes todavía van a la zaga de los humanos en un área crucial de rendimiento: la velocidad a la que aprenden. Cuando se trata de dominar videojuegos clásicos, por ejemplo, las mejores máquinas de aprendizaje profundo requieren unas 200 horas de juego para alcanzar los mismos niveles de habilidad que alcanzan los humanos en solo dos horas.

Así que a los informáticos les encantaría tener alguna forma de acelerar el ritmo al que aprenden las máquinas.

Hoy, Alexander Pritzel y sus amigos de la subsidiaria DeepMind de Google en Londres afirman haber hecho precisamente eso. Estos muchachos han construido una máquina de aprendizaje profundo que es capaz de asimilar rápidamente nuevas experiencias y luego actuar en consecuencia. El resultado es una máquina que aprende significativamente más rápido que otras y tiene el potencial de igualar a los humanos en un futuro no muy lejano.

Primero, algunos antecedentes. El aprendizaje profundo utiliza capas de redes neuronales para buscar patrones en los datos. Cuando una sola capa detecta un patrón que reconoce, envía esta información a la siguiente capa, que busca patrones en esta señal, y así sucesivamente.

Entonces, en el reconocimiento facial, una capa podría buscar bordes en una imagen, la siguiente capa podría buscar patrones circulares de bordes (del tipo que hacen los ojos y la boca) y la siguiente, patrones triangulares como los que hacen dos ojos y una boca. Cuando todo esto sucede, el resultado final es una indicación de que se ha detectado una cara.

Por supuesto, el diablo esta en los detalles. Hay varios sistemas de retroalimentación para permitir que el sistema aprenda ajustando varios parámetros internos, como la fuerza de las conexiones entre capas. Estos parámetros deben cambiar lentamente, ya que un gran cambio en una capa puede afectar catastróficamente el aprendizaje en las capas posteriores. Es por eso que las redes neuronales profundas necesitan tanto entrenamiento y por qué lleva tanto tiempo.

Pritzel y compañía han abordado este problema con una técnica que llaman control episódico neural. El control episódico neuronal demuestra mejoras dramáticas en la velocidad de aprendizaje para una amplia gama de entornos, dicen. Fundamentalmente, nuestro agente puede aferrarse rápidamente a estrategias altamente exitosas tan pronto como las experimente, en lugar de esperar muchos pasos de optimización.

La idea básica detrás del enfoque de DeepMind es copiar la forma en que los humanos y los animales aprenden rápidamente. El consenso general es que los humanos pueden abordar situaciones de dos maneras diferentes. Si la situación es familiar, nuestros cerebros ya han formado un modelo de ella, que utilizan para determinar la mejor manera de comportarse. Esto utiliza una parte del cerebro llamada corteza prefrontal.

Pero cuando la situación no es familiar, nuestro cerebro tiene que recurrir a otra estrategia. Se cree que esto implica un enfoque de prueba y recuerdo mucho más simple que involucra al hipocampo. Así que intentamos algo y recordamos el resultado de este episodio. Si tiene éxito, lo intentamos de nuevo, y así sucesivamente. Pero si no es un episodio exitoso, tratamos de evitarlo en el futuro.

Este enfoque episódico es suficiente a corto plazo mientras nuestro cerebro prefrontal aprende. Pero pronto es superado por la corteza prefrontal y su enfoque basado en modelos.

Pritzel y compañía han utilizado este enfoque como inspiración. Su nuevo sistema tiene dos enfoques. El primero es un sistema de aprendizaje profundo convencional que imita el comportamiento de la corteza prefrontal. El segundo es más como el hipocampo. Cuando el sistema prueba algo nuevo, recuerda el resultado.

Pero lo más importante es que no trata de aprender qué recordar. En cambio, recuerda todo. Nuestra arquitectura no trata de aprender cuándo escribir en la memoria, ya que esto puede ser lento de aprender y tomar una cantidad significativa de tiempo, dicen Pritzel y compañía. En cambio, elegimos escribir todas las experiencias en la memoria y permitir que crezca mucho en comparación con las arquitecturas de memoria existentes.

Luego usan un conjunto de estrategias para leer de esta gran memoria rápidamente. El resultado es que el sistema puede aferrarse a estrategias exitosas mucho más rápido que los sistemas convencionales de aprendizaje profundo.

Continúan demostrando lo bien que funciona todo esto entrenando su máquina para jugar videojuegos clásicos de Atari, como Breakout, Pong y Space Invaders. (Este es un patio de recreo que DeepMind ha utilizado para entrenar muchas máquinas de aprendizaje profundo).

El equipo, que incluye al cofundador de DeepMind, Demis Hassibis, muestra que el control episódico neuronal supera ampliamente a otros enfoques de aprendizaje profundo en la velocidad a la que aprende. Nuestros experimentos muestran que el control episódico neuronal requiere un orden de magnitud de menos interacciones con el medio ambiente, dicen.

Es un trabajo impresionante con un potencial significativo. Los investigadores dicen que una extensión obvia de este trabajo es probar su nuevo enfoque en entornos tridimensionales más complejos.

Será interesante ver qué entornos elige el equipo y el impacto que esto tendrá en el mundo real. Esperamos ver cómo funciona.

Ref: Control Neural Episódico: arxiv.org/abs/1703.01988

esconder