211service.com
Uber ha descifrado dos videojuegos clásicos de los 80 al darle a un algoritmo de IA un nuevo tipo de memoria
Squakenet
Un nuevo tipo de algoritmo de aprendizaje automático acaba de dominar un par de videojuegos antiguos que han demostrado ser un gran dolor de cabeza para la IA.
Quienes lo sigan sabrán que los algoritmos de IA han superado a los mejores jugadores humanos del mundo en el antiguo y elegante juego de estrategia Go, uno de los juegos más difíciles que se puedan imaginar. Pero dos clásicos pixelados de la era de los juegos de computadora de 8 bits, Moctezuma's Revenge y Pitfall!, han bloqueado a los investigadores de IA.
Hay una razón para esta aparente contradicción. Aunque engañosamente simple, tanto Montezuma's Revenge como Pitfall! han sido inmunes al dominio a través del aprendizaje por refuerzo, una técnica que, por lo demás, es hábil para aprender a conquistar los videojuegos. DeepMind, una subsidiaria de Alphabet centrada en la inteligencia artificial, la usó para desarrollar algoritmos capaces de aprender a jugar varios videojuegos clásicos a un nivel experto. Los algoritmos de aprendizaje por refuerzo encajan bien con la mayoría de los juegos, porque modifican su comportamiento en respuesta a la retroalimentación positiva: la puntuación sube. El éxito del enfoque ha generado la esperanza de que los algoritmos de IA puedan aprender a hacer todo tipo de cosas útiles que actualmente son imposibles para las máquinas.
¡El problema con Montezuma's Revenge y Pitfall! es que hay pocas señales de recompensa fiables. Ambos títulos involucran escenarios típicos: los protagonistas exploran mundos de bloques llenos de criaturas y trampas mortales. Pero en cada caso, muchos comportamientos que son necesarios para avanzar en el juego no ayudan a aumentar la puntuación hasta mucho más tarde. Los algoritmos ordinarios de aprendizaje por refuerzo generalmente no logran salir de la primera habitación en Montezuma's Revenge y Pitfall! obtienen exactamente cero.
Los nuevos algoritmos provienen del equipo de investigación de IA de Uber en San Francisco, dirigido por jeff clune , quien también es profesor asociado en la Universidad de Wyoming. El equipo demostró un enfoque fundamentalmente diferente para el aprendizaje automático dentro de un entorno que ofrece pocas pistas para mostrar cómo funciona un algoritmo.
El enfoque conduce a algunas aplicaciones prácticas interesantes, escriben Clune y su equipo en una publicación de blog publicada hoy, por ejemplo, en el aprendizaje de robots. Esto se debe a que los futuros robots deberán descubrir qué hacer en entornos que son complejos y ofrecen solo unas pocas recompensas escasas.
Uber lanzó su laboratorio de inteligencia artificial en diciembre de 2016, con el objetivo de lograr avances fundamentales que pudieran resultar útiles para su negocio. Mejores algoritmos de aprendizaje por refuerzo podrían, en última instancia, resultar útiles para cosas como la conducción autónoma y la optimización de rutas de vehículos.
¡Los investigadores de IA generalmente han tratado de sortear los problemas planteados por Montezuma's Revenge and Pitfall! instruyendo a los algoritmos de aprendizaje por refuerzo para que exploren aleatoriamente en ocasiones, al tiempo que agregan recompensas por la exploración, lo que se conoce como motivación intrínseca.
Pero los investigadores de Uber creen que esto no captura un aspecto importante de la curiosidad humana. Nuestra hipótesis es que una de las principales debilidades de los actuales algoritmos de motivación intrínseca es el desapego, escriben. Donde los algoritmos se olvidan de las áreas prometedoras que han visitado, lo que significa que no regresan a ellas para ver si conducen a nuevos estados.
La nueva familia de algoritmos de aprendizaje por refuerzo del equipo, denominada Go-Explore, recuerda dónde han estado antes y volverán a un área o tarea en particular más adelante para ver si puede ayudar a proporcionar mejores resultados generales. Los investigadores también descubrieron que agregar un poco de conocimiento del dominio, al hacer que los jugadores humanos resaltaran áreas interesantes o importantes, aceleró el aprendizaje y el progreso de los algoritmos en una cantidad notable. Esto es importante porque puede haber muchas situaciones del mundo real en las que desearía que un algoritmo y una persona trabajaran juntos para resolver una tarea difícil.
Su código obtiene un promedio de 400,000 puntos en Montezuma's Revenge, un orden de magnitud más alto que el promedio de los expertos humanos. ¡En trampa! acumula 21,000 en promedio, mucho mejor que la mayoría de los jugadores humanos.
Estos resultados son muy impresionantes, dice Emma Brunskill, profesora asistente en la Universidad de Stanford que se especializa en el aprendizaje por refuerzo. Ella dice que es sorprendente y emocionante que las técnicas produzcan ventajas tan grandes.
Otros investigadores de IA han estado trabajando en estos videojuegos notoriamente difíciles. En octubre, un equipo de OpenAI, una organización sin fines de lucro en San Francisco, demostró un algoritmo capaz de haciendo un progreso significativo en La venganza de Moctezuma.
El grupo de Brunskill en Stanford recientemente hizo un progreso más modesto en Pitfall! utilizando un enfoque similar al del equipo de Uber.
Ahora que los algoritmos de IA pueden resolver estos videojuegos, el desafío es salir de la sala de juegos y resolver problemas del mundo real.
Brunskill está de acuerdo en que este tipo de trabajo podría tener un gran impacto en la robótica. Pero dice que otras situaciones del mundo real, especialmente aquellas que implican modelar el comportamiento humano, son mucho más difíciles. Será muy interesante ver qué tan bien funciona este enfoque para escenarios más complicados, dice ella.
Sin embargo, no todos están cautivados por la investigación de Uber.
Alex Irpan, un ingeniero de software que trabaja en aprendizaje automático y robótica en Google, escribió una entrada de blog en el que cuestiona por qué el equipo de IA de Uber no proporcionó un documento técnico, junto con un comunicado de prensa, para dar más detalles de su trabajo.
Irpan también señala que al alterar el estado del juego, para facilitar su enfoque, los investigadores de Uber AI pueden haber cambiado el campo de juego de manera significativa. Dado este hecho, cuestiona cuán práctico podría ser el enfoque.
La publicación del blog dice que este enfoque podría usarse para tareas robóticas simuladas y luego combinarse con la transferencia de sim a real para obtener políticas del mundo real. En este frente, soy bastante pesimista, escribe.
Actualizado 11.28 con comentario de Alex Irpan.