Habiendo dominado Space Invaders, ajedrez y Go, la IA aborda el video fútbol

Campo de fútbol Viena Reyes | Unsplash

Google es líder mundial en investigación sobre inteligencia artificial. Su subsidiaria DeepMind, en particular, tiene una impresionante lista de logros en su haber. Las redes neuronales de DeepMind han logrado un rendimiento sobrehumano en una amplia gama de juegos. Estos incluyen videojuegos de Atari como Pong, Breakout y Space Invaders y desafíos más complejos como el juego multijugador en línea Starcraft.

DeepMind también ha tenido un éxito notable con los juegos más tradicionales. En 2016, su máquina AlphaGo derrotó a uno de los jugadores profesionales de Go más fuertes del mundo, la primera vez que una máquina triunfó de esta manera. En el proceso, AlphaGo encontró formas de jugar completamente nuevas que han revolucionado la forma en que los humanos piensan sobre el juego.

No contento con dormirse en los laureles, Google ahora está dirigiendo su atención a juegos más abiertos donde la imprevisibilidad juega un papel más importante. Y su próximo objetivo es el video fútbol.

Karol Kurach y sus colegas del Brain Team de Google Research han creado un videojuego de fútbol llamado Google Research Football Environment para permitir a los investigadores probar sus algoritmos en un mundo basado en la física, personalizable, fácil de usar y reproducible sin límites. Han hecho que este mundo esté disponible con una licencia de código abierto para que los investigadores de cualquier lugar puedan usarlo para desarrollar mejores algoritmos de juego de fútbol.

Primero algunos antecedentes. Uno de los desafíos para los investigadores de IA es encontrar tareas que ofrezcan nuevos problemas para los algoritmos de aprendizaje automático. Los videojuegos sencillos como Pong o Breakout a veces son demasiado fáciles para estos algoritmos, que pueden lograr un rendimiento sobrehumano después de unas pocas horas de entrenamiento.

Pero algunos de los videojuegos más complejos, como Starcraft, son demasiado desafiantes. Starcraft es un juego de estrategia en tiempo real para múltiples jugadores y tiene lugar en un gran universo en línea. Los investigadores de IA se han interesado en él porque les permite jugar contra otros humanos y contra sistemas de IA basados ​​en juegos en entornos complejos.

Sin embargo, el juego es tan vasto e intrincado que requiere enormes recursos computacionales para recopilar datos relevantes y entrenar un sistema de aprendizaje automático. Y estos recursos no están disponibles para la mayoría de los investigadores.

Otro problema es que muchos entornos en línea prometedores se ejecutan en código propietario que los investigadores no pueden cambiar o incluso ver. Eso hace que sea imposible saber cómo el juego toma decisiones importantes o experimentar con diferentes procesos de toma de decisiones.

Finalmente, muchos juegos son completamente deterministas: se desarrollarán exactamente de la misma manera con las mismas entradas. Eso los hace fáciles de superar para aprender algoritmos.

Pero no es así como funcionan las cosas en el mundo real, donde la capacidad de hacer frente a acciones inesperadas es una habilidad importante. La única forma de que las máquinas aprendan esta habilidad es entrenándose en entornos impredecibles. Pero la imprevisibilidad debe ser controlable: demasiado poco y el juego es demasiado fácil, mientras que demasiado hace que aprender sea demasiado difícil. Crear un entorno así es complicado.

Ahí es donde entran los simuladores de fútbol. Estos tienen ciertos niveles de previsibilidad basados ​​en la física del juego. Pero también hay mucha imprevisibilidad que surge de las tácticas de los jugadores contrarios, el desajuste entre los jugadores en situaciones como la entrada, etc.

Entonces Kurach y sus colegas han construido su propio simulador. Como base, utilizaron un juego disponible públicamente llamado Gameplay Football, que permite partidos de fútbol completos con goles, faltas, córners, penales, fueras de juego, etc. Football Environment proporciona una simulación de fútbol en 3D basada en la física en la que los agentes tienen que controlar a sus jugadores, aprender cómo pasar entre ellos y cómo superar la defensa de su oponente para marcar goles, dice el equipo de Google.

Los investigadores han modificado esto para proporcionar una medida del éxito de las máquinas, en función de qué tan cerca la máquina puede maniobrar la pelota hacia la portería del oponente de manera controlada. Esto es necesario porque la medida estándar del éxito (las metas) refleja un evento relativamente raro y no proporciona una forma para que las máquinas controlen su progreso momento a momento.

El equipo también ha creado varios entornos estándar de diversa complejidad para entrenar y probar máquinas de IA. Las tareas a las que se enfrenta la máquina incluyen anotar en una portería vacía, correr y anotar contra un portero, navegar en un escenario de 3 contra 1 para anotar mientras se fomenta el pase, etc. La prueba general es un juego estándar con todas las reglas habituales, jugado contra un oponente basado en una máquina.

El algoritmo de aprendizaje puede jugar contra otras máquinas o contra humanos. Esto le da experiencia con una amplia gama de estrategias. Y evita el escenario en el que la máquina simplemente aprende las debilidades de un oponente basado en la máquina, lo que puede no ser aplicable a los juegos en general. Esto proporciona un problema de aprendizaje de refuerzo desafiante, ya que el fútbol requiere un equilibrio natural entre el control a corto plazo, los conceptos aprendidos como el pase y la estrategia de alto nivel, dicen Kurach y sus colegas.

Es un trabajo interesante que tiene el potencial de ayudar a que el aprendizaje automático funcione en entornos más realistas. Pero también plantea la posibilidad de que las máquinas aprendan nuevas estrategias de fútbol que los humanos nunca han considerado, tal como lo hicieron con Go.

Estas son tácticas que incluso podrían desarrollarse en torneos de robo-soccer, o incluso en juegos entre humanos.

Si estas estrategias funcionan tan bien para el fútbol real como lo hacen para la variedad simulada, será una pregunta interesante para observar. Eso será fascinante tanto para los investigadores de IA como para los fanáticos del fútbol.

Ref: arxiv.org/abs/1907.11180 : Google Research Fútbol: un nuevo entorno de aprendizaje por refuerzo

esconder