AI aprendió a usar herramientas después de casi 500 millones de juegos de escondite

AbrirAi

En los primeros días de la vida en la Tierra, los organismos biológicos eran extremadamente simples. Eran criaturas unicelulares microscópicas con poca o ninguna capacidad de coordinación. Sin embargo, miles de millones de años de evolución a través de la competencia y la selección natural condujeron a las formas de vida complejas que tenemos hoy, así como a la inteligencia humana compleja.

Los investigadores de OpenAI, el laboratorio de investigación de IA con fines de lucro con sede en San Francisco, ahora están probando una hipótesis: si pudiera imitar ese tipo de competencia en un mundo virtual, ¿también daría lugar a una inteligencia artificial mucho más sofisticada?

El experimento se basa en dos ideas existentes en el campo: el aprendizaje multiagente, la idea de colocar múltiples algoritmos en competencia o coordinación para provocar comportamientos emergentes, y el aprendizaje por refuerzo, la técnica específica de aprendizaje automático que aprende a lograr un objetivo a través de pruebas y error. (DeepMind popularizó este último con su innovador programa AlphaGo, que venció al mejor jugador humano en el antiguo juego de mesa chino Go).

en un nuevo papel lanzado hoy, OpenAI ahora ha revelado sus resultados iniciales. Al jugar un simple juego de escondite cientos de millones de veces, dos equipos opuestos de agentes de IA desarrollaron estrategias complejas de escondite y búsqueda que involucraban el uso de herramientas y la colaboración. La investigación también ofrece información sobre la estrategia de investigación dominante de OpenAI: escalar drásticamente las técnicas de IA existentes para ver qué propiedades emergen.

Después de aproximadamente 25 millones de rondas de escondite, los escondidos aprendieron a construir fuertes para ganar el juego. IA abierta

Seis fases de la estrategia.

Para crear el juego, los investigadores diseñaron un entorno virtual que consistía en un espacio cerrado con varios objetos como bloques, rampas y barricadas móviles e inmóviles. Los propios agentes estaban controlados por algoritmos de aprendizaje por refuerzo. Para cada juego, los agentes se dividieron en dos equipos: los escondidos fueron recompensados ​​o penalizados por evitar o no evitar a los buscadores, respectivamente; los buscadores también fueron recompensados ​​​​o penalizados por encontrar o no encontrar a los escondidos. Como en un clásico juego de las escondidas, a los escondidos también se les dio una ventaja de unos segundos. Los investigadores no dieron más instrucciones a los agentes.

En el transcurso de cientos de millones de rondas de juego, los agentes desarrollaron varias estrategias y contraestrategias. Durante la primera fase, los escondites y buscadores desarrollaron estrategias de evasión y persecución muy rudimentarias moviéndose por el espacio sin manipular ninguno de los objetos.

En la fase tres, los buscadores aprendieron a escalar los muros del fuerte usando una rampa. IA abierta

Pero alrededor de la marca de los 25 millones de juegos, el juego se volvió más sofisticado. Los escondidos aprendieron a moverse y cerrar las cajas y barricadas en el entorno para construir fuertes a su alrededor para que los buscadores nunca los vieran. No solo eso, sino que también desarrollaron estrategias de coordinación, como pasarse objetos entre sí, para acelerar el proceso de construcción de fuertes.

Sin embargo, después de otros 75 millones de rondas, los buscadores descubrieron una contraestrategia, moviendo el proceso a la fase tres. Aprendieron a mover una rampa al lado del fuerte de los escondidos y usarla para escalar las paredes. En la fase cuatro, 10 millones de rondas más tarde, los escondidos habían aprendido a bloquear las rampas en su lugar antes de construir su fuerte. (Ningún equipo pudo desbloquear un objeto que estaba bloqueado por un equipo contrario).

Al principio, los investigadores de OpenAI creían que esta era la última fase del juego, pero finalmente, en la marca de los 380 millones de juegos, surgieron dos estrategias más. Una vez más, los buscadores desarrollaron una estrategia para irrumpir en el fuerte de los escondites usando una rampa cerrada para subir a una caja abierta y luego navegar por encima de la caja hasta el fuerte y sobre sus paredes. En la fase final, los escondidos aprendieron una vez más a bloquear todas las rampas y cajas en su lugar antes de construir su fuerte.

Finalmente, después de 380 millones de rondas de entrenamiento, los buscadores aprendieron a hacer 'box surf' para escalar los muros del fuerte. IA abierta

inteligencia emergente

Los investigadores creen que estos resultados iniciales demuestran un nuevo método prometedor para desarrollar una IA más compleja. No les dijimos a los que se esconden o a los que buscan que corran cerca de una caja o que interactúen con ella, dice Bowen Baker, uno de los autores del artículo. Pero a través de la competencia multiagente, crearon nuevas tareas para cada uno de modo que el otro equipo tuvo que adaptarse.

Este estudio refleja el enfoque distintivo de OpenAI para la investigación de IA. Aunque el laboratorio también ha invertido en el desarrollo de técnicas novedosas en relación con otros laboratorios, principalmente se ha hecho un nombre al escalar drásticamente las existentes. GPT-2, el infame modelo de lenguaje del laboratorio, por ejemplo, tomó prestado un diseño algorítmico de modelos de lenguaje anteriores, incluido BERT de Google ; La principal innovación de OpenAI fue una hazaña de ingeniería y recursos computacionales expansivos.

En cierto modo, este estudio reafirma el valor de probar los límites de las tecnologías existentes a escala. El equipo también planea continuar con esta estrategia. Los investigadores dicen que la primera ronda de experimentos no estuvo cerca de alcanzar los límites de los recursos computacionales que podían arrojar al problema.

Queremos que la gente imagine lo que sucedería si indujeras este tipo de competencia en un entorno mucho más complejo, dice Baker. Los comportamientos que aprenden en realidad podrían eventualmente resolver algunos problemas que quizás aún no sepamos cómo resolver.

Corrección: El titular original expresó erróneamente la cantidad de juegos que jugaron los agentes.

esconder