La IA de DeepMind ahora puede jugar los 57 juegos de Atari, pero aún no es lo suficientemente versátil

Categoría: Inteligencia artificial Al corriente 01 de abril

Las noticias: Una inteligencia artificial llamada Agent57 ha aprendido a jugar a los 57 videojuegos de Atari en el entorno Arcade Learning, una colección de juegos clásicos que los investigadores utilizan para probar los límites de sus modelos de aprendizaje profundo. Desarrollado por DeepMind, Agent57 utiliza el mismo algoritmo de aprendizaje de refuerzo profundo para lograr niveles de juego sobrehumanos incluso en juegos con los que las IA anteriores han tenido problemas. Ser capaz de aprender 57 tareas diferentes hace que Agent57 sea más versátil que las IA de juegos anteriores.

¿Qué hay en un juego? Los juegos son una excelente manera de probar las IA. Proporcionan una variedad de desafíos que obligan a una IA a idear una variedad de estrategias y aún así tener una medida clara de éxito, una puntuación, contra la cual entrenar. Pero cuatro juegos de Atari en particular han resultado difíciles de superar. En Montezuma's Revenge and Pitfall, una IA debe probar muchas estrategias diferentes antes de dar con una ganadora. Y en Solaris y Esquí, puede haber largas esperas entre la acción y la recompensa, lo que dificulta que una IA aprenda qué movimientos obtienen la mejor recompensa.

Meta-mente: Para hacer frente a estos desafíos, Agent57 reúne varias mejoras que DeepMind ha realizado en su red Deep-Q, la IA que venció por primera vez a un puñado de juegos de Atari en 2012, incluida una forma de memoria que le permite basar las decisiones en cosas que ha hecho anteriormente. visto en el juego y los sistemas de recompensa que alientan a la IA a explorar sus opciones más a fondo antes de decidirse por una estrategia. Luego, estas diversas técnicas son administradas por un metacontrolador, que equilibra las compensaciones entre seguir adelante con una estrategia particular y hacer más exploración.

Por qué importa: A pesar de todo su éxito, los mejores modelos de aprendizaje profundo que tenemos hoy en día no son muy versátiles. La mayoría tiende a ser bueno en una cosa y solo en una cosa. Entrenar una IA para sobresalir en más de una tarea es uno de los mayores desafíos abiertos en el aprendizaje profundo. La capacidad de aprender 57 tareas diferentes hace que Agent57 sea más versátil que las IA de juego anteriores, pero, y esto a menudo se pasa por alto, todavía no puede aprender a jugar más de un juego a la vez. Agent57 puede aprender a jugar 57 juegos, pero no puede aprender a jugar 57 juegos a la vez. Necesita volver a entrenar para cada juego nuevo, aunque puede usar el mismo algoritmo para hacerlo. De esta manera, Agent57 es similar a AlphaZero, el algoritmo de aprendizaje por refuerzo profundo de DeepMind, que puede aprender a jugar ajedrez, Go y shogi, pero, de nuevo, no todo a la vez. La verdadera versatilidad, que es tan fácil para un bebé humano, aún está más allá del alcance de las IA.