Máquina de aprendizaje profundo se enseña a sí misma ajedrez en 72 horas, juega a nivel de maestro internacional

Han pasado casi 20 años desde que la supercomputadora Deep Blue de IBM venció al actual campeón mundial de ajedrez, Garry Kasparov, por primera vez bajo las reglas estándar de un torneo. Desde entonces, las computadoras que juegan al ajedrez se han vuelto significativamente más fuertes, dejando a los mejores humanos con pocas posibilidades, incluso contra un motor de ajedrez moderno que se ejecuta en un teléfono inteligente.

Pero aunque las computadoras se han vuelto más rápidas, la forma en que funcionan los motores de ajedrez no ha cambiado. Su poder se basa en la fuerza bruta, el proceso de buscar a través de todos los posibles movimientos futuros para encontrar el mejor próximo.

Por supuesto, ningún ser humano puede igualar eso ni acercarse a nada. Mientras Deep Blue buscaba unos 200 millones de posiciones por segundo, Kasparov probablemente no buscaba más de cinco por segundo. Y, sin embargo, jugó esencialmente al mismo nivel. Claramente, los humanos tienen un truco bajo la manga que las computadoras aún no dominan.

Este truco consiste en evaluar las posiciones de ajedrez y reducir las vías de búsqueda más rentables. Eso simplifica drásticamente la tarea computacional porque reduce el árbol de todos los movimientos posibles a solo unas pocas ramas.

Las computadoras nunca han sido buenas en esto, pero hoy eso cambia gracias al trabajo de Matthew Lai en el Imperial College London. Lai ha creado una máquina de inteligencia artificial llamada Giraffe que se ha enseñado a sí misma a jugar ajedrez evaluando posiciones mucho más como humanos y de una manera completamente diferente a los motores de ajedrez convencionales.

Nada más sacarla de la caja, la nueva máquina juega al mismo nivel que los mejores motores de ajedrez convencionales, muchos de los cuales se han perfeccionado durante muchos años. A nivel humano, es equivalente al estatus de Maestro Internacional FIDE, colocándolo dentro del 2.2 por ciento superior de los jugadores de ajedrez de torneo.

La tecnología detrás de la nueva máquina de Lai es una red neuronal. Esta es una forma de procesar la información inspirada en el cerebro humano. Consiste en varias capas de nodos que están conectados de una manera que cambia a medida que se entrena el sistema. Este proceso de entrenamiento usa muchos ejemplos para afinar las conexiones para que la red produzca una salida específica dada una determinada entrada, para reconocer la presencia de un rostro en una imagen, por ejemplo.

En los últimos años, las redes neuronales se han vuelto enormemente poderosas gracias a dos avances. El primero es una mejor comprensión de cómo ajustar estas redes a medida que aprenden, gracias en parte a computadoras mucho más rápidas. El segundo es la disponibilidad de conjuntos de datos anotados masivos para entrenar las redes.

Eso ha permitido a los científicos informáticos entrenar redes mucho más grandes organizadas en muchas capas. Estas llamadas redes neuronales profundas se han vuelto enormemente poderosas y ahora superan rutinariamente a los humanos en tareas de reconocimiento de patrones, como el reconocimiento facial y el reconocimiento de escritura a mano.

Por lo tanto, no sorprende que las redes neuronales profundas puedan detectar patrones en el ajedrez y ese es exactamente el enfoque que ha adoptado Lai. Su red consta de cuatro capas que juntas examinan cada posición en el tablero de tres maneras diferentes.

El primero analiza el estado global del juego, como el número y tipo de piezas en cada lado, qué lado debe moverse, los derechos de enroque, etc. El segundo analiza las características centradas en las piezas, como la ubicación de cada pieza en cada lado, mientras que el aspecto final es mapear las casillas que cada pieza ataca y defiende.

Lai entrena su red con un conjunto de datos cuidadosamente generados tomados de juegos de ajedrez reales. Este conjunto de datos debe tener la correcta distribución de posiciones. Por ejemplo, no tiene sentido entrenar el sistema en posiciones con tres reinas por lado, porque esas posiciones prácticamente nunca surgen en los juegos reales, dice.

También debe tener mucha variedad de posiciones desiguales más allá de las que suelen ocurrir en los juegos de ajedrez de alto nivel. Eso es porque aunque las posiciones desiguales rara vez surgen en los juegos de ajedrez reales, surgen todo el tiempo en las búsquedas que la computadora realiza internamente.

Y este conjunto de datos debe ser enorme. La gran cantidad de conexiones dentro de una red neuronal debe ajustarse durante el entrenamiento y esto solo se puede hacer con un gran conjunto de datos. Utilice un conjunto de datos que sea demasiado pequeño y la red puede establecerse en un estado que no reconozca la amplia variedad de patrones que ocurren en el mundo real.

Lai generó su conjunto de datos eligiendo aleatoriamente cinco millones de posiciones de una base de datos de juegos de ajedrez de computadora. Luego creó una mayor variedad al agregar un movimiento legal aleatorio a cada posición antes de usarlo para entrenar. En total generó 175 millones de posiciones de esta forma.

La forma habitual de entrenar estas máquinas es evaluar manualmente cada posición y usar esta información para enseñar a la máquina a reconocer las que son fuertes y las que son débiles.

Pero esta es una tarea enorme para 175 millones de posiciones. Podría hacerse con otro módulo de ajedrez, pero el objetivo de Lai era más ambicioso. Quería que la máquina aprendiera por sí misma.

En su lugar, utilizó una técnica de arranque en la que Jirafa jugaba contra sí misma con el objetivo de mejorar su predicción de su propia evaluación de una posición futura. Eso funciona porque hay puntos de referencia fijos que en última instancia determinan el valor de una posición, ya sea que el juego se gane, pierda o empate.

De esta manera, la computadora aprende qué posiciones son fuertes y cuáles son débiles.

Habiendo entrenado a Giraffe, el paso final es probarlo y aquí los resultados son una lectura interesante. Lai probó su máquina en una base de datos estándar llamada Strategic Test Suite, que consta de 1500 posiciones que se eligen para probar la capacidad de un motor para reconocer diferentes ideas estratégicas. Por ejemplo, un tema prueba la comprensión del control de las columnas abiertas, otro prueba la comprensión de cómo los valores del alfil y del caballo cambian entre sí en diferentes situaciones, y otro prueba la comprensión del control del centro, dice.

Los resultados de esta prueba se puntúan sobre 15.000.

Lai usa esto para probar la máquina en varias etapas durante su entrenamiento. A medida que comienza el proceso de arranque, Giraffe alcanza rápidamente una puntuación de 6000 y finalmente alcanza un máximo de 9700 después de solo 72 horas. Lai dice que coincide con los mejores módulos de ajedrez del mundo.

[Eso] es notable porque sus funciones de evaluación son gigantes cuidadosamente diseñadas a mano con cientos de parámetros que se han ajustado tanto manual como automáticamente durante varios años, y muchos de ellos han sido trabajados por grandes maestros humanos, agrega.

Lai continúa utilizando el mismo tipo de enfoque de aprendizaje automático para determinar la probabilidad de que valga la pena realizar un movimiento determinado. Eso es importante porque evita búsquedas innecesarias en ramas no rentables del árbol y mejora drásticamente la eficiencia computacional.

Lai dice que este enfoque probabilístico predice el mejor movimiento el 46 por ciento de las veces y ubica el mejor movimiento entre los tres primeros del ranking, el 70 por ciento de las veces. Entonces la computadora no tiene que molestarse con los otros movimientos.

Es un trabajo interesante que representa un cambio importante en la forma en que funcionan los motores de ajedrez. No es perfecto, por supuesto. Una desventaja de Giraffe es que las redes neuronales son mucho más lentas que otros tipos de procesamiento de datos. Lai dice que Giraffe tarda aproximadamente 10 veces más que un motor de ajedrez convencional para buscar la misma cantidad de posiciones.

Pero incluso con esta desventaja, es competitivo. Giraffe puede jugar al nivel de un maestro internacional de la FIDE en una PC convencional moderna, dice Lai. En comparación, los mejores motores juegan al nivel de super-Grandmaster.

Eso sigue siendo impresionante. A diferencia de la mayoría de los motores de ajedrez que existen hoy en día, Giraffe obtiene su fuerza de juego no de poder ver muy lejos, sino de poder evaluar posiciones difíciles con precisión y comprender conceptos posicionales complicados que son intuitivos para los humanos, pero han sido esquivos para el ajedrez. motores durante mucho tiempo, dice Lai. Esto es especialmente importante en las fases de apertura y final del juego, donde se juega excepcionalmente bien.

Y esto es solo el comienzo. Lai dice que debería ser sencillo aplicar el mismo enfoque a otros juegos. Uno que se destaca es el juego tradicional chino de Go, donde los humanos todavía tienen una ventaja impresionante sobre sus competidores de silicio. Quizás Lai podría tener una oportunidad con eso a continuación.

Ref: arxiv.org/abs/1509.01549 : Jirafa: Usando el Aprendizaje de Refuerzo Profundo para Jugar Ajedrez

esconder