Un patio de recreo en constante cambio enseña a las IA cómo realizar múltiples tareas

Mente profunda

DeepMind ha desarrollado un vasto patio de juegos virtual de color caramelo que enseña las habilidades generales de la IA al cambiar sin cesar las tareas que les asigna. En lugar de desarrollar solo las habilidades necesarias para resolver una tarea en particular, las IA aprenden a experimentar y explorar, adquiriendo habilidades que luego usan para tener éxito en tareas que nunca antes habían visto. Es un pequeño paso hacia la inteligencia general.

¿Qué es? XLand es un mundo 3D similar a un videojuego que los jugadores de IA perciben en color. El patio de juegos está administrado por una IA central que asigna a los jugadores miles de millones de tareas diferentes al cambiar el entorno, las reglas del juego y la cantidad de jugadores. Tanto los jugadores como el administrador del patio de recreo utilizan el aprendizaje por refuerzo para mejorar por ensayo y error.

Historia relacionada

Inteligencia artificial general: ¿Estamos cerca y tiene sentido intentarlo?

Una máquina que pudiera pensar como una persona ha sido la visión rectora de la investigación de IA desde los primeros días, y sigue siendo su idea más divisiva.

Durante el entrenamiento, los jugadores se enfrentan primero a juegos sencillos para un solo jugador, como encontrar un cubo morado o colocar una pelota amarilla en un suelo rojo. Avanzan a juegos multijugador más complejos como las escondidas o capturar la bandera, donde los equipos compiten para ser los primeros en encontrar y agarrar la bandera de su oponente. El administrador del patio de recreo no tiene un objetivo específico, pero su objetivo es mejorar la capacidad general de los jugadores con el tiempo.

¿Por qué es genial? Las IA como AlphaZero de DeepMind han vencido a los mejores jugadores humanos del mundo en ajedrez y Go. Pero solo pueden aprender un juego a la vez. Como dijo el cofundador de DeepMind, Shane Legg, cuando hablé con él el año pasado, es como tener que cambiar tu cerebro de ajedrez por tu cerebro de Go cada vez que quieras cambiar de juego.

Los investigadores ahora están tratando de construir IA que puedan aprender múltiples tareas a la vez, lo que significa enseñarles habilidades generales que facilitan la adaptación.

Habiendo aprendido a experimentar, estos bots improvisaron una rampa

MENTE PROFUNDA

Una tendencia emocionante en esta dirección es el aprendizaje abierto, donde las IA se entrenan en muchas tareas diferentes sin un objetivo específico. En muchos sentidos, así es como los humanos y otros animales parecen aprender, a través del juego sin objetivo. Pero esto requiere una gran cantidad de datos. XLand genera esos datos automáticamente, en forma de un flujo interminable de desafíos. Esto es similar a POETA , un dojo de entrenamiento de IA donde los bots de dos piernas aprenden a sortear obstáculos en un paisaje 2D. Sin embargo, el mundo de XLand es mucho más complejo y detallado.

XLand es también un ejemplo de IA aprendiendo a hacerse a sí misma , o lo que Jeff Clune, quien ayudó a desarrollar POET y lidera un equipo trabajando en este tema en OpenAI, llama algoritmos generadores de IA (AI-GA). Este trabajo amplía las fronteras de los AI-GA, dice Clune. Es muy emocionante de ver.

Historia relacionada

La IA está aprendiendo a crearse a sí misma

Los humanos han luchado para hacer máquinas verdaderamente inteligentes. Tal vez tenemos que dejar que se encarguen ellos mismos.

¿Qué aprendieron? Algunas de las IA XLand de DeepMind jugaron 700 000 juegos diferentes en 4000 mundos diferentes, encontrando 3,4 millones de tareas únicas en total. En lugar de aprender qué es lo mejor que se puede hacer en cada situación, que es lo que hacen la mayoría de las IA de aprendizaje por refuerzo existentes, los jugadores aprendieron a experimentar: mover objetos para ver qué pasaba o usar un objeto como herramienta para alcanzar otro objeto u ocultarse. atrás, hasta que superan la tarea en particular.

En los videos, puede ver a las IA arrojando objetos hasta que se topan con algo útil: un mosaico grande, por ejemplo, se convierte en una rampa hacia una plataforma. Es difícil saber con certeza si todos esos resultados son accidentes intencionales o felices, dicen los investigadores. Pero suceden constantemente.

Las IA que aprendieron a experimentar tenían una ventaja en la mayoría de las tareas, incluso en las que no habían visto antes. Los investigadores descubrieron que después de solo 30 minutos de entrenamiento en una tarea nueva y compleja, las IA XLand se adaptaron rápidamente. Pero las IA que no habían pasado tiempo en XLand no podían aprender estas tareas en absoluto.

esconder