La IA de DeepMind ahora ha superado a casi todos los jugadores humanos en StarCraft II

AlphaStar (Zerg, en rojo) defendiendo una agresión temprana donde el oponente construyó parte de la base cerca de la base de AlphaStar. cortesía de DeepMind

En enero de este año, DeepMind anunció que había alcanzado un hito en su búsqueda de inteligencia artificial general. Había diseñado un sistema de inteligencia artificial, llamado AlphaStar, que venció a dos jugadores profesionales en StarCraft II, un popular videojuego sobre la guerra galáctica. Esto fue toda una hazaña. StarCaft II es muy complejo, con 1026 opciones para cada movimiento. También es un juego de información imperfecta y no hay estrategias definitivas para ganar. El logro marcó un nuevo nivel de inteligencia artificial.

Ahora DeepMind, una subsidiaria de Alphabet, está lanzando una actualización. AlphaStar ahora supera a la gran mayoría de los jugadores activos de StarCraft, demostrando una capacidad mucho más robusta y repetible para crear estrategias sobre la marcha que antes. Los resultados, publicado en Naturaleza hoy, podría tener implicaciones importantes para aplicaciones que van desde la traducción automática hasta los asistentes digitales o incluso la planificación militar.

StarCraft II es un juego de estrategia en tiempo real, que suele jugarse uno a uno. Un jugador debe elegir una de las tres razas humanas o alienígenas (Protoss, Terran o Zerg) y alternar entre reunir recursos, construir infraestructura y armas, y atacar al oponente para ganar el juego. Cada carrera tiene habilidades y limitaciones únicas que afectan la estrategia ganadora, por lo que los jugadores suelen elegir y dominar el juego con una.

AlphaStar utilizó el aprendizaje por refuerzo, donde un algoritmo aprende a través de prueba y error, para dominar el juego con todas las razas. Esto es realmente importante porque significa que, en principio, el mismo tipo de métodos se puede aplicar a otros dominios, dijo David Silver, científico investigador principal de DeepMind, en una conferencia de prensa. La IA también alcanzó un rango por encima del 99,8% de los jugadores activos en la liga online oficial.

AlphaStar, jugando como Protoss (en verde), contrarrestando un ataque de un jugador Zerg. cortesía de DeepMind

Para lograr tal flexibilidad, el equipo de DeepMind modificó una técnica de uso común conocida como autoejecución, en la que un algoritmo de aprendizaje por refuerzo juega contra sí mismo para aprender más rápido. DeepMind usó esta técnica para entrenar AlphaGo Zero, el programa que aprendió por sí mismo sin ningún aporte humano para vencer a los mejores jugadores en el antiguo juego de Go. El laboratorio también lo utilizó en la versión preliminar de AlphaStar.

Convencionalmente, en el juego automático, ambas versiones del algoritmo están programadas para maximizar sus posibilidades de ganar. Pero los investigadores descubrieron que eso no necesariamente resultó en los algoritmos más robustos. Para un juego tan abierto, se corría el riesgo de encasillar el algoritmo en estrategias específicas que solo funcionarían bajo ciertas condiciones.

Inspirándose en la forma en que los jugadores profesionales de StarCraft II entrenan entre sí, los investigadores programaron uno de los algoritmos para exponer los defectos del otro en lugar de maximizar sus propias posibilidades de ganar. Eso es como pedirle a un amigo que juegue contra ti, dijo Oriol Vinyals, investigador principal del proyecto, en la llamada. Estos amigos deberían mostrarte cuáles son tus debilidades, para que eventualmente puedas volverte más fuerte. El método produjo algoritmos mucho más generalizables que podrían adaptarse a una gama más amplia de escenarios de juego.

Los investigadores creen que las habilidades de coordinación y desarrollo de estrategias de AlphaStar podrían aplicarse a muchos otros problemas. Elegimos StarCraft [...] porque sentimos que reflejaba muchos desafíos que realmente surgen en las aplicaciones del mundo real, dijo Silver. Estas aplicaciones podrían incluir asistentes digitales, automóviles autónomos u otras máquinas que tienen que interactuar con humanos, dijo.

La complejidad [de StarCraft] recuerda mucho más a las escalas que estamos viendo en el mundo real, dijo Silver.

Pero AlphaStar también demuestra las importantes limitaciones de la IA. Por ejemplo, todavía necesita muchos más datos de entrenamiento que un jugador humano para alcanzar el mismo nivel de habilidad. Tal software de aprendizaje también está muy lejos de ser traducido a robótica sofisticada o aplicaciones del mundo real.

Para recibir más historias como esta directamente en su bandeja de entrada, suscríbase a nuestro boletín informativo de IA nominado por Webby, The Algorithm. Es gratis.

esconder