Lo que la IA necesita aprender para dominar la guerra alienígena

Los jugadores juegan StarCraft en Gamescom en Colonia, Alemania, en 2015.

Para aprender cómo los humanos y los sistemas de inteligencia artificial pueden vivir mejor juntos, es posible que debamos matar a muchos zerg.

DeepMind, la unidad de Alphabet centrada en la IA, y la compañía de juegos Blizzard Entertainment están lanzando un conjunto de herramientas que permitirán a los programadores liberar todo tipo de algoritmos de IA dentro del juego de temática espacial StarCraft.

El juego es más desafiante que la mayoría de los abordados por los programas de IA hasta la fecha. StarCraft no solo es extremadamente complejo, sino que también requiere planificar con anticipación y tratar de adivinar qué está haciendo tu oponente. Esto significa que el desarrollo de programas de IA capaces de igualar a los humanos debería ayudar a los investigadores a explorar nuevas facetas de la inteligencia humana con las máquinas. Otro beneficio potencial, según los involucrados, será explorar formas para que los humanos y los agentes artificiales jueguen juntos.

StarCraft es interesante por muchas razones, dice Oriol Vinyals , el investigador de DeepMind que lidera el proyecto. El hecho de que los jugadores a menudo solo puedan vislumbrar las actividades de sus oponentes, por ejemplo, significa que los algoritmos deberán desarrollar mejores formas de almacenar información en la memoria. La memoria es crítica, dice Vinyals. Lo que ves ahora no es lo que viste hace un rato, y algo específico que podría haber sucedido hace un minuto podría hacer que [quieras] actuar de manera diferente.

DeepMind ha construido una reputación impresionante en la creación de programas de inteligencia artificial capaces de jugar varios tipos de juegos con habilidades sobrehumanas. La compañía comenzó conquistando varios juegos de Atari y, más recientemente, se hizo cargo del extremadamente complejo y abstracto juego de mesa Go (ver AI Masters the Game of Go de DeepMind una década antes de lo esperado).

Para dominar estos juegos, los investigadores de DeepMind utilizaron una técnica de aprendizaje automático llamada aprendizaje por refuerzo. El aprendizaje automático permite que una computadora descubra cómo hacer algo por sí misma, sin requerir instrucciones explícitas. El aprendizaje por refuerzo, que se inspira en la forma en que los animales parecen aprender, permite el aprendizaje a través de la experimentación con retroalimentación positiva (ver 10 Tecnologías innovadoras 2017: Aprendizaje por refuerzo). Sin embargo, Vinyals dice que aplicar el aprendizaje por refuerzo a StarCraft será más difícil porque lleva mucho tiempo desarrollar cada juego. Una acción que tomo ahora solo tiene una consecuencia mucho más tarde, dice.

Dentro de StarCraft, los jugadores compiten como una de las tres razas: los Terran humanoides, los cyborg Protoss o los insectoides Zerg. Las batallas involucran acciones estratégicas complejas como extraer recursos y construir bases, así como secuencias de batalla prolongadas. StarCraft es también el deporte electrónico para espectadores más popular, y especialmente en Corea del Sur, los torneos a menudo se juegan en estadios enormes y se transmiten en vivo por televisión. Los jugadores destacados han acogido con satisfacción la posibilidad de enfrentarse a los programas de IA, pero DeepMind aún no ha dicho cuándo podría suceder esto (ver Los profesionales de StarCraft están listos para luchar contra la IA).

Las herramientas desarrolladas por DeepMind y Blizzard harán que sea mucho más fácil para los investigadores de IA implementar y probar algoritmos de aprendizaje automático dentro de StarCraft. Las herramientas proporcionarán a los agentes de IA la misma vista del juego y la interfaz que tienen los jugadores humanos. También permiten limitar la velocidad con la que un programa puede ejecutar sus acciones. Esto puede garantizar que un programa tenga que depender de las mismas herramientas intelectuales que una persona.

StarCraft se ha utilizado como plataforma de investigación durante algún tiempo, pero ha sido relativamente difícil de explotar. Vinyals, un jugador experto de StarCraft, fue pionero en la construcción de bots para StarCraft cuando era estudiante en la Universidad de California, Berkeley (ver 35 Innovadores menores de 35 años, 2016: Oriol Vinyals). equipos en Facebook y la empresa china alibaba también han publicado investigaciones de StarCraft. DeepMind está publicando un documento en una importante conferencia de aprendizaje automático esta semana que muestra cómo funcionan los algoritmos existentes con el juego.

Sin embargo, es posible que se necesiten enfoques bastante diferentes para dominar un juego como StarCraft. Algunos otros investigadores han tenido éxito utilizando enfoques tomados de la teoría de juegos para progresar en otros juegos de información imperfecta, y donde el farol es importante. A principios de este año, Tuomas Sandholm, profesor de la Universidad Carnegie Mellon, y uno de sus estudiantes, Noam Brown, crearon un programa, llamado Libratus, que venció a varios jugadores profesionales en heads-up, o dos jugadores, Texas Hold sin límite. em. Libratus empleó un algoritmo muy sofisticado para calcular la estrategia óptima a lo largo de un juego (ver Por qué el póquer es un gran problema para la inteligencia artificial). Y casualmente, Brown ha estado haciendo una pasantía en DeepMind este verano.

Historia relacionada

Historia relacionada Jugar al póquer implica lidiar con información imperfecta, lo que hace que el juego sea muy complejo y más parecido a muchas situaciones del mundo real.

Jacob Repp, ingeniero principal de Blizzard, dice que su compañía está interesada en ver si los agentes sofisticados de IA podrían hacer que el juego sea más interesante, ya sea jugando contra personas o colaborando con ellas. Ya es posible crear agentes en el juego que sigan comandos escritos. Repp dice que sería interesante que esos agentes también usen el aprendizaje automático hasta cierto punto. Y dice que la compañía está explorando este tipo de ideas. Estamos descubriendo que estas herramientas son muy útiles para el proceso de creación de juegos y diseño de funciones en los juegos, dice.

esconder