Podcast: Cómo los juegos enseñan a la IA a aprender por sí misma

Historial de juegos de IA

Sra. Tecnología | Unsplash





Desde el ajedrez hasta Jeopardy y los deportes electrónicos, la IA está superando cada vez más a los humanos en sus propios juegos. Pero ese nunca fue el objetivo final. En este primer episodio de la tercera temporada de In Machines We Trust, profundizamos en la relación simbiótica entre los juegos y la IA. Nos reunimos con los grandes jugadores del espacio y hacemos un viaje a una sala de juegos.

En este episodio nos encontramos con:

  • Julian Togelius, Profesor Asociado, Departamento de Informática e Ingeniería, Universidad de Nueva York
  • Will Douglas-Heaven, editor sénior de IA, MIT Technology Review
  • David Silver, científico investigador principal de DeepMind, profesor del University College London.
  • David Fahri, investigador principal, IA abierta

Para hacer este episodio, también hablamos con Natasha Regan, Actuaria de RPC Tyche, Chess WIM y coautora de 'Game Changer'.

Sonidos de:

Créditos:

Este episodio fue informado por Jennifer Strong y Will Douglas Heaven y producido por Anthony Green, Emma Cillekens y Karen Hao. Estamos editados por Niall Firth, Michael Reilly y Mat Honan. Nuestro ingeniero de mezcla es Garret Lang. Diseño de sonido y música por Jacob Gorski.



Transcripción completa:

[ID TR]

[SOT: Jeopardy anuncia Watson Challenge]

Trebeck: Hoy estamos anunciando una competencia de Jeopardy diferente a todo lo que hemos presentado antes.



Jennifer: Hace diez años, el concurso televisivo Jeopardy presentó a un nuevo jugador...

Trebeck: Es un partido de exhibición con dos de los jugadores más peligrosos de la historia... ¿su retador? Bueno, su nombre es Watson.

Locutor del documental: [música] Watson es una computadora IBM diseñada para jugar Jeopardy. Watson entiende el lenguaje natural con toda su ambigüedad y complejidad.



Jennifer: Y tal vez no sea sorprendente... dado que jugar Jeopardy es la cosa fue diseñado para hacer... Watson era bueno. Realmente bueno.

[SOT: Montage of Watson Jeopardy responde.]

Trebek: Watson.



watson: que es estambul.

Trebek: Estás bien.

Trebek: Watson.

watson: que es el parlamento.

Trebek: Correcto.

Trebek: Watson.

watson: Que es griego antiguo.

Trebek: Watson, de vuelta a usted.

Jennifer: Después de tres noches de esto, Watson ganó... venciendo a los dos mejores jugadores en la historia del programa de juegos... Desde el ajedrez hasta Jeopardy y los deportes electrónicos... La IA está venciendo a los humanos en sus propios juegos... (por así decirlo)... pero eso nunca fue La última meta. Los investigadores están tratando de construir sistemas inteligentes que sean más útiles y de propósito general que cualquier cosa que tengamos.

David Plata: Si el cerebro humano puede resolver todo tipo de tareas diferentes, ¿podemos crear programas que puedan hacer lo mismo?

Jennifer: Soy Jennifer Strong y en este episodio profundizamos en la relación simbiótica entre los juegos y la IA. Porque desde que existe la investigación de la IA, los juegos han sido parte de ella. Conocemos a los grandes jugadores del espacio... y hacemos un viaje a una sala de juegos.

{Sonidos del juego}

Karen Hao: En cierto modo, los juegos han exagerado un poco las capacidades de la IA, porque...

Jennifer: Esa es mi colega Karen Hao...

Karen Hao: Mucha gente ahora cree que la IA es mucho más capaz de lo que realmente es, pero los juegos son en realidad una demostración de inteligencia increíblemente limitada. Y ahora estamos algo atrapados en este ciclo en el que la investigación de la IA va específicamente por este camino de juegos cada vez más avanzados sin llegar a situaciones y entornos del mundo real cada vez más complejos y avanzados... que es lo que realmente necesitamos.

{Sonidos del juego}

[MOSTRAR ID]

OC:... has llegado a tu destino.

Julian Togelius: Los juegos han sido parte de la IA desde que comenzó la IA, o desde que comenzó la idea misma de la IA.

Jennifer: Julian Togelius es un profesor e informático que vive en la ciudad de Nueva York...

Julian Togelius: Trabajo en IA para mejorar los juegos y también en juegos para mejorar la IA.

Jennifer: Me está dando una lección de historia sobre esta relación entre los juegos y la IA... y de alguna manera, se las arregla para hacerlo mientras juega algunos videojuegos con los que ha estado trabajando.

Julian Togelius: Particularmente trabajo con los videojuegos y una especie de videojuegos modernos porque realmente el ajedrez y el Go y todo eso... Quiero decir, ya hemos terminado con eso. Es como, quiero decir, [risas] no desanimar a las personas a las que les gusta jugar al ajedrez y les gusta jugar al Go o al póquer por el desafío mental. Esta bien. Pero ya sabes, hay muchas más posibilidades, muchos más desafíos interesantes en los otros juegos.

Jennifer: ¿Cómo llegaste a este campo?

Julian Togelius: Sí. Entonces, cuando mi mamá regaló a mis gatos, [risas] ¡Es verdad! Quiero decir, ella, se volvió alérgica y entonces, ¿qué vas a hacer? Entonces ella me dio una computadora antes que una Commodore 64, y comencé a jugar todos estos juegos y quedé realmente fascinado por estos pequeños, pequeños mundos. Y luego crecí... bueno, más o menos. [risas] Uh, crecí, terminé la escuela secundaria. Empecé a estudiar filosofía y psicología. Me interesó, ¿cómo funciona la mente? ¿Cuál es la relación de la conciencia y la inteligencia y cómo surge todo esto?

Jennifer: Estas preguntas lo llevaron a uno de los primeros artículos del científico informático pionero Alan Turing... Fue el primero en demostrar que construir una computadora era incluso matemáticamente posible.

Julian Togelius: Ese documento es en gran parte sobre juegos. Se trata del Juego de la Imitación, lo que ahora se llama Test de Turing, en el que tratas de saber si alguien con quien estás chateando esencialmente -no se llamaba chatear en los años cincuenta- si alguien con quien estás hablando por mensaje de texto es una computadora o un humano. También se trata de ajedrez. Porque el ajedrez se convirtió muy pronto en un foco central de la investigación de inteligencia artificial.

Jennifer: Pensamos que las personas que juegan al ajedrez tienen un cierto nivel de inteligencia... y por eso el juego se convirtió en una forma de medir qué tan inteligentes son las máquinas también.

Y… ¿dato curioso? El primer programa para jugar al ajedrez fue escrito antes de incluso existía una computadora para ejecutarlo. Turing lo interpretó en 1950... usando un algoritmo trabajado en papel.

(No funcionó muy bien.)

Pero la gente continuó avanzando en esta investigación durante décadas.

Y luego, en 1997, la computadora Deep Blue de I-B-M venció a Garry Kasparov... el actual campeón mundial de ajedrez.

[SOT] - Deep Blue superando a Garry Kasparov en el Sexto Juego a través de YouTube

Comentarista 2: ¿Nos estamos perdiendo algo en el tablero de ajedrez ahora que Kasparov ve? Él no se ve... se ve asqueado de hecho.

Comentarista 1: ¡Guau!

Comentarista 2: ¡Azul profundo! ¡Kasparov, después del movimiento C4, ha renunciado!

[Aplausos]

Julian Togelius: Y este fue un gran evento intelectual, la gente estaba pensando, está bien, ¿y ahora qué? ¿Acabamos de resolver la inteligencia artificial? Y resulta que no, no lo hiciste porque este programa de juego de ajedrez ni siquiera podía jugar a las damas sin una reprogramación significativa. No podía jugar Go. No podía reproducir muchas cosas. Y más aún, no podía atarse los cordones de los zapatos. No podía cocinar macarrones. No podría escribir un poema de amor. No podía salir y comprar un periódico. No podría hacer ninguna de estas cosas que los humanos hacen todo el tiempo. Realmente podría hacer literalmente una sola cosa. Podría jugar al ajedrez. Era muy bueno en eso, pero en realidad solo podía jugar al ajedrez.

Jennifer: Entonces, los humanos habían resuelto lo que se creía que era el mayor desafío de crear inteligencia... pero cuando mirabas debajo del capó del programa... dice que era esencialmente solo una especie de búsqueda.

Julian Togelius: ¿Qué pasa si tomo este movimiento? Y luego, ¿qué pasa si mi adversario toma este movimiento, entonces qué pasa si yo tomo este movimiento? Así que construimos un árbol de posibilidades y contraposibilidades y calculamos a partir de eso. En realidad, fue mucho más complicado que eso, pero ese es el corazón de lo que estaba haciendo. Y la gente lo vio como, esto no se parece en nada a cómo funciona nuestro cerebro. Quiero decir, realmente no sabemos cómo funciona nuestro cerebro, pero, sea lo que sea que estén haciendo, no es esto. [reír]

Jennifer: Pero no SOLO se usa para jugar contra humanos... La IA aparece en los juegos de muchas maneras. Especialmente para hacerlos más interesantes y desafiantes.

Por ejemplo…. La IA cambia partes de los videojuegos... para que sean diferentes cada vez que los jugamos, y ese ha sido el caso desde los años 19-80.

Julian Togelius: Y este principio de siempre crear algo nuevo... y cada vez que juegas es nuevo... ha sobrevivido en muchos juegos diferentes. Por ejemplo, la serie de juegos Diablo se basa en eso, o la serie de juegos de estrategia Civilization. Cada vez que juegas, tienes un mundo completamente nuevo y eso es fundamental para el juego. Simplemente no sería lo mismo si no hicieras eso.

Jennifer: Otra razón para hacer esto es por el almacenamiento... y dice que un juego llamado Elite se convirtió en un hito importante... cuando estuvo disponible para computadoras personales, incluida la Commodore 64.

Julian Togelius: Es imposible que quepa en la memoria de esta computadora. Entonces, una versión tenía 4.096 sistemas estelares diferentes. Ahora, si solo tuvieras 64,000 bytes de memoria e imagina, piensa en lo poco que es eso, es una millonésima parte de una computadora que puedes comprar hoy. Entonces, tenían que recrear el sistema estelar cada vez que llegabas allí. Básicamente construirlo desde cero.

Jennifer: Y ese sigue siendo el caso ahora. Claro, tenemos mucho más almacenamiento. Pero los juegos también son mucho, mucho más grandes y complejos.

Julian Togelius: El juego de No Man's Sky, que salió en 2016, pero lo siguen actualizando, se vuelve cada vez más impresionante. Tiene más planetas de los que podrías visitar en tu vida, pero de alguna manera todos caben en tu computadora porque se recrean cada vez que los ves.

Jennifer: Mientras tanto, los investigadores también han seguido construyendo IA para juegos... y Togelius dice que uno de los próximos desafíos en ese espacio será que puedan jugar muchos juegos a la vez... porque la multitarea es algo que los humanos hacen bien... pero ese aún no es el caso para estos sistemas.

Entonces, ¿cómo pasamos de estos entornos altamente estructurados con mucha previsibilidad... a algo más cercano a la vida real, que es desordenado y caótico y nada predecible?

¿A él ya otros investigadores…? Jugamos más juegos.

Julian Togelius: Si tuviéramos un sistema que pudiera jugar de manera confiable, como con cierta habilidad, los cien mejores juegos en una lista de juegos de computadora, como Steam o AppStore o algo así, entonces tendríamos algo parecido a la inteligencia general.

Jennifer: Entonces, de alguna manera... todavía estamos donde estábamos hace medio siglo... pensando que podríamos encontrar la clave de la inteligencia general con sistemas de inteligencia artificial que pueden vencer a los humanos en su propio juego.

[ritmo / música]

Pero también mezclamos juegos e IA de muchas otras maneras... como para ayudarnos con los datos de entrenamiento.

Hace algunos años, conocí a un equipo en Princeton que intentaba hacer que las señales de alto fueran más reconocibles para los autos que conducen solos... usando el juego Grand Theft Auto.

Por extraño que parezca... en realidad es bastante práctico cuando se considera de cuántas maneras diferentes un conductor puede encontrar una señal de alto en el mundo real... ya sea en un palo en el suelo... colgando en el aire... o pintado en el pavimento... y los encontramos en todo tipo de luz y clima... a veces parcialmente ocultos por las ramas de los árboles... o la oscuridad de la noche.

Los investigadores podrían buscar ejemplos de todas estas señales de alto... o los videojuegos pueden generar un sinfín de ejemplos.

También estamos usando juegos para comprender mejor cómo los algoritmos toman decisiones.

[Empieza a traer sonidos de Arcade. *Comienza el tema musical y el juego de Frogger, cambia de movimiento*]

Jennifer: Estamos en una sala de juegos clásica en Boston... porque tiene varios de estos videojuegos más antiguos que se usan para entrenar sistemas de IA.

Will Douglas-Heaven: Hola, soy Will Douglas-Heaven. Soy editor sénior de IA en Technology Review... Y no puedo jugar a Frogger.

Will Douglas-Heaven: Frogger apareció recientemente en una investigación de IA diferente en la que intentaban que una IA se explicara a sí misma y explicara lo que estaba haciendo. Um, y enseñaron... entrenaron una IA para jugar este juego y sabes Frogger... Puedes escuchar por el ruido, sigo fallando.

Así que Frogger es este juego en el que eres una pequeña rana en el fondo y tienes que cruzar una carretera en la que los coches se mueven a través de la pantalla de izquierda a derecha, y tienes que esquivar entre ellos. Y luego llegas a un río y te subes a lomos de tortugas y troncos para llegar al otro lado sin caerte como me pasó a mí allí. Um, de todos modos, así es, es un juego que tiene muchas acciones definidas que tomas en cada paso. Y así, cuando entrenaron a la IA para que lo hiciera, cada vez que tomaba una acción, conseguían que explicara en, eh, una especie de, ya sabes, términos humanos comprensibles por qué lo hizo.

[*Continúan los sonidos del juego*]

Jennifer: Básicamente, la IA juega el juego... y con el tiempo, descubre cómo tener éxito. Los movimientos aleatorios se convierten en estrategias complejas... incluso algunas que no conocíamos.

[Continúe con los sonidos de los juegos debajo del VO de arriba y también en esta pieza de audio]

Will Douglas-Heaven: Arrojaron las IA a estos viejos juegos y simplemente les mostraron las pantallas que no tenían idea de cómo jugar. Eran solo píxeles en una pantalla, sucedieron cosas. Probaron cosas ya veces explotaron. A veces disparaban a las naves alienígenas. Y usando solo una especie de recompensas de ya sabes cuando hicieron algo, correcto, el puntaje subió, lentamente descubrieron cómo jugar el juego. Y pasaron de entender, nada a, en muchos casos, superar las puntuaciones más altas de los mejores jugadores humanos. E incluso algunos ejemplos realmente geniales en los que realmente encontraron formas de ganar el juego que los humanos no habían descubierto.

Jennifer: Un ejemplo de esto proviene de un juego llamado Q*Bert, que coloca a los jugadores en una pirámide de cuadrados.

Will Douglas-Heaven: Me refiero a que la idea básica es que tienes a este pequeño que salta por la pirámide desde la parte superior y aterriza en los cuadrados. Y cuando haya cambiado todos los cuadrados al mismo color, podrá pasar al siguiente nivel. Pero la IA, creo que en el primer nivel, cambió todos los colores de los cuadrados y luego siguió saltando arriba y abajo de los cuadrados en lugar de pasar al siguiente nivel. Y encontró un error en el juego que le permitía obtener una puntuación infinita en muy poco tiempo. E incluso los diseñadores del juego dijeron que no había visto ese error antes.

Jennifer: Después del descanso... Conoceremos a algunos pioneros detrás de los grandes avances en este campo. Pero primero, quiero contarles sobre un evento llamado CyberSecure en noviembre. Es la conferencia de ciberseguridad de Tech Review y estaré allí con mis colegas. Puede obtener más información en Cyber ​​Secure M-I-T punto com.

Volveremos enseguida... después de esto.

[A MEDIO ROLLO]

David Plata: Mi nombre es David Silver. Trabajo en inteligencia artificial y la aplico a los juegos. Trabajo para una empresa llamada DeepMind y nuestro objetivo es probar y usar, um, inteligencia artificial para intentar construir un sistema, que tenga algo de la inteligencia que se encuentra dentro del cerebro humano.

Jennifer: DeepMind está en el centro de este trabajo con los juegos. Es un laboratorio de investigación que forma parte del alfabeto de Google.

David Plata: Si el cerebro humano puede resolver todo tipo de tareas diferentes, ¿podemos crear programas que puedan hacer lo mismo?

Jennifer: Es el investigador principal detrás de algunos de los sistemas de inteligencia artificial más conocidos que han dominado cómo jugar juegos... comenzando con los juegos de mesa (incluido el antiguo juego de estrategia chino de Go).

David Plata: Desarrollamos un sistema llamado AlphaGo, que fue el primer programa en poder jugar el juego de Go al nivel de los mejores jugadores profesionales humanos. Y de hecho, pudo vencer al campeón mundial Lee Sedol.

David Plata: Y está este enorme espacio de juegos, muchos de los cuales tienen estas hermosas características que nos permiten simplemente sumergirnos y comprender, ya sabes, una parte del mundo de forma aislada sin tener que lidiar con toda la inmensa complejidad del mundo real. de repente.

Jennifer: AlphaGo aprendió a jugar juegos de mesa basándose en cómo juega la gente.

El siguiente sistema de Silver, AlphaZero, aprendió a jugar juegos de mesa y videojuegos de una manera diferente... aprendiendo las reglas de un juego y luego jugándolo una y otra vez.

David Plata: Después de AlphaGo, intentamos dar el siguiente paso y hacer algo aún más general, que era poder jugar no solo un juego, sino muchos juegos usando la misma tecnología. Y este es un gran trampolín porque realmente está tratando de hacer una de las cosas que nosotros, como personas, podemos hacer, que es resolver muchos problemas, utilizando los mismos tipos de maquinaria interna.

Jennifer: Eso es un hito en hacer que la IA tenga un propósito más general... Pero con una advertencia importante. El algoritmo no puede aprender a jugar todos estos juegos a la vez. Es como si se construyera cerebros separados para cada juego. Entonces tiene que cambiar su cerebro de ajedrez antes de jugar Go.

Es seguro decir que los investigadores todavía están tratando de descubrir cómo hacer que los juegos sean una prueba para la vida real. Porque los juegos tienen reglas que se pueden definir... y nadie conoce realmente las reglas por las que funciona el mundo.

David Plata: El mundo es realmente un lugar desordenado. Ya sabes, tiene esta dinámica increíblemente rica, todo tipo de detalles en la forma en que los objetos se mueven. La forma en que las cosas que vemos se relacionan con las cosas que tocamos. Simplemente existe esta increíble riqueza y complejidad en el mundo real. Y no podemos esperar abordar eso de la forma en que la gente históricamente ha abordado los juegos. Entonces, lo que necesitamos es algo que pueda entender el mundo por sí mismo de una manera que entienda los patrones de una manera que sea útil para tomar decisiones que sean realmente significativas para ayudar a lograr sus objetivos.

Jennifer: Su último proyecto se llama MuZero. Sobresale en tantos juegos como AlphaZero... (así como en una gran cantidad de videojuegos).

...pero este sistema descubre cómo jugar sin que se le de ninguna regla.

David Plata: Así que realmente se soltó. Era capaz de jugar contra sí mismo. Y todo lo que obtuvo al final del juego fue una señal para decir, Oye, ganaste o Oye, perdiste. Y a partir de esa señal, fue capaz de comprender por sí mismo las reglas del juego lo suficiente como para poder imaginar lo que sucedería en el futuro... Y una vez que tuvo esta capacidad de imaginar el futuro, fue capaz de buscar y comenzar a mirar hacia adelante y comenzar a pensar en el futuro y decir, ajá, ahora entiendo cómo funciona este mundo. Puedo empezar a imaginar lo que pasaría si jugara este movimiento o tomara esta acción. Y ese es realmente un paso clave que necesitamos y algo que creemos que es muy importante para el futuro de la IA.

Jennifer: Él dice que no es diferente a un bebé que se enfrenta al mundo que lo rodea... desarrollando habilidades creativas y de resolución de problemas, con el tiempo.

David Plata: Creo que ya estamos viendo ejemplos en los que, dentro de dominios restringidos, vemos algoritmos que son, a todos los efectos, creativos. Quiero decir, ¿qué es la creatividad, después de todo, aparte de, ya sabes, la capacidad de descubrir una nueva idea por sí mismo? Y creo que esa es la esencia de la creatividad. La esencia de la creatividad es lo que están haciendo nuestros algoritmos, que es descubrir paso a paso algo nuevo y aprender a través de su experiencia que esta nueva idea que se les ha ocurrido es en realidad algo que es poderoso y que ayuda a lograr su objetivo. objetivos. Así que creo que en el futuro veremos más y más creatividad de esta forma. Veremos, ya sabes, máquinas que sean capaces de descubrir por sí mismas ideas que les ayuden a alcanzar objetivos. No porque una persona les haya dicho, esto es lo que necesitas para lograr ese objetivo, sino porque lo descubrieron por sí mismos.

Jennifer: Y... esa creatividad ha llevado a AlphaZero a descubrir cosas nuevas sobre cómo jugar al ajedrez. Ahora…. los jugadores humanos en realidad lo están adoptando en sus propios juegos... llamándolo... 'jugar un movimiento alfa cero'.

[SOT: cómo jugar como AlphaZero]

Anfitrión: ¡Bienvenido a otra edición de Cómo atacar como AlphaZero! Espero que estés listo para la lección de hoy...

Jennifer: Eso también está sucediendo con los deportes electrónicos... que son competencias de videojuegos que a menudo se juegan frente a una audiencia en vivo... similar a un evento deportivo... Con una audiencia mundial de casi quinientos millones de espectadores sintonizados para ver sus juegos favoritos. por algunos de los mejores jugadores del mundo.

Aquí también, la IA se está utilizando de muchas maneras... como herramientas de entrenamiento para ayudar a las personas a mejorar en el juego... y (una vez más), los investigadores también pretenden utilizar los deportes electrónicos para hacer que sus sistemas de IA sean más inteligentes...

David Farhi: Estamos imaginando que en algún momento habrá sistemas generales de inteligencia artificial que realmente puedan resolver problemas rápidamente, que puedan aprender tal vez al nivel de los humanos.

Jennifer: David Farhi es investigador principal en Open AI... El laboratorio de investigación fundado por Elon Musk y un grupo de otras luminarias de Silicon Valley.

Creó el primer sistema para vencer a los campeones mundiales en un juego de deportes electrónicos.

Ese juego se llama Defense of the Ancients 2, que todos llaman Dota 2... y hay un nuevo documental sobre esta victoria... llamado Artificial Gamer.

[Clip del tráiler de Artificial Gamer]

[Música dramática y sonidos del juego de Dota 2]

Orador 1: Cuando miras el juego de Dota, hay más de 10 000 variables en cada momento que tu sistema tiene que aceptar.

Orador 2: La IA aprende de una manera muy diferente a la de los humanos.

Hablante 3: Juega contra copias de sí mismo. Muchas, muchas veces en la nube...

Jennifer: Fahri supervisó el proyecto Dota 2, llamado Open AI Five... y demostró cómo funciona en la conferencia de IA de Tech Review, EmTech Digital...

[Sonidos del juego Dota 2 a través de YouTube. [00:03 - 00:15] Aparece, luego acuéstate bajo la siguiente selección de Farhi. *Lucha con espadas, pasos y música dramática de batalla.*]

David Farhi: En la esquina superior derecha de esta pantalla. Vemos una vista muy grande, alejada, de todo el mundo de Dota. En la esquina inferior izquierda hay una base de equipo. En la esquina superior derecha está la base de otro equipo. Cada equipo está tratando de mover a sus personajes, lanzar hechizos con sus personajes, atacar a los enemigos, etc., para finalmente invadir y destruir la base del otro equipo.

David Farhi: Estos sistemas más complicados, como la robótica y los videojuegos, tienen una sensación diferente porque obtienes una observación del estado del juego y luego eliges una acción a tomar. Y luego el estado del juego cambia de alguna manera, dependiendo de la acción que hayas realizado. Y luego tienes una nueva observación y puedes elegir una nueva acción y este ciclo sucede una y otra y otra vez. Por lo tanto, debe tomar decisiones que tienen consecuencias a largo plazo en el futuro. Entonces, la forma en que hacemos esto es relativamente simple. Al menos conceptualmente. Tenemos agentes que comienzan jugando de forma totalmente aleatoria. Y solo tenemos que jugarlos contra ellos mismos, un clon de ellos mismos una y otra y otra vez.

Jennifer: ¿Y si estás pensando que esto podría llevar mucho tiempo con un juego tan complicado? No te equivocas... pero la capacidad de Open AI para ejecutarlo en 200 000 máquinas a la vez... ayuda.

Básicamente… es capaz de ganar alrededor de 250 años de experiencia por día.

Y si el sistema hace algo que funciona... se actualiza para hacer eso más... y si sucede algo malo que no funciona, lo hace menos.

David Farhi: Comenzamos con una versión limitada del juego. Eventualmente pudimos vencer a nuestro equipo de desarrolladores, lo cual fue muy divertido. Y luego agregamos más piezas del juego. Volvimos y entrenamos por más tiempo. Y pudimos vencer a algunos aficionados y luego a algunos humanos semiprofesionales. Eventualmente decidimos ir a un gran torneo que tiene este juego...

[Sonidos de The International 3 (torneo Dota) a través de YouTube. *Multitud vitoreando, comentaristas deportivos gritando emocionados, jugabilidad de Dota.*]

Comentarista deportivo: Podría ser su último soporte. [inaudible]

Comentarista deportivo: Él va a tratar de enfocar a todos, pero hay tantas cosas.

Comentarista deportivo: No hay más clips disponibles. Hasta aproximadamente la mitad de HP.

Comentarista deportivo: Un cuarto de CV. ¡Un león que rodea por todos lados! EKB! Comentarista deportivo: ¡Ganaron la ronda! ¡Lo van a hacer!

Comentarista deportivo: ¡Los reyes del norte! Alianza gana! Ganan TI 3.

Comentarista deportivo: ¡La Alianza acaba de ganar 1,4 millones de dólares!

Comentarista deportivo: ¡Son tus 3 campeones internacionales!

David Farhi: Entonces, este juego tiene millones de usuarios humanos que compiten en estos torneos por grandes premios, lo que garantiza que sepamos que hay humanos que juegan con un nivel de habilidad muy, muy alto. En agosto de 2018, llevamos a nuestro agente a este torneo.

Jennifer: Su IA jugó contra dos equipos profesionales que ya habían sido eliminados del torneo... y perdieron por poco. Pero al año siguiente, con más entrenamiento, la IA pudo vencer a los ex campeones mundiales 2 a 0.

David Farhi: Entonces, OpenAI Five se entrena sin humanos en el proceso de entrenamiento, por lo que solo juega contra sí mismo en estos servidores en la nube una y otra y otra y otra vez. Y luego, cuando queremos jugar contra un humano, tomamos una instantánea de la nube y la jugamos contra el humano, pero nunca introducimos esos datos en el proceso de entrenamiento.

[Música]

Jennifer: Pero aún queda la pregunta de si los juegos pueden ayudarnos a entrenar a la IA para que sea más útil.

En este momento, tenemos sistemas que son extremadamente buenos en una cosa. Pero todavía no tenemos modelos que puedan hacer muchas cosas a la vez.

Una vez más, mi colega Will Douglas Heaven.

Will Douglas-Heaven: El truco será, creo, dar un paso atrás en la construcción de IA que sobresalgan en estrategias o técnicas específicas, o que tengan una solución brillante para esta regla o movimiento en particular, ya saben, el tipo de cosas que hemos estado viendo en estos IA que pueden aprender a jugar juegos.

Jennifer: Para entender realmente la próxima etapa de esta investigación... Podría ser útil pensar en la forma en que los niños juegan en un parque infantil.

Will Douglas-Heaven: No están jugando un juego que tenga algún tipo de reglas establecidas. Quiero decir, pueden inventarlos a medida que avanzan, pero, ya sabes, solo están explorando, probando cosas y de una manera muy natural y abierta. Y no hay ningún objetivo definido por el que estén trabajando. Y creo que es este tipo de técnica, que sigue siendo una especie de juego, que vamos a ver, ya sabes, realmente impulsar las cosas cuando hablamos de inteligencia general. Deepmind, por ejemplo, lanzó hace unos meses un parque virtual. Es algo así como un mundo de videojuegos llamado X Land. Y está poblado por un grupo de pequeños bots. Y lo bueno aquí es que X Land en sí mismo está controlado por una IA o algo así como un maestro de juegos que reorganiza el entorno, reorganiza los obstáculos y los bloques y las pelotas con las que juegan los pequeños robots, y también crea diferentes reglas sobre la marcha. Entonces, juegos simples como la etiqueta o las escondidas, y los bots solo tienen que descubrir, ya sabes, cómo jugarlos. Sabes qué objetos de ese mundo virtual les ayudarán a hacerlo. Y aprenden habilidades generales como explorar, simplemente probar cosas. Y creo que este tipo de exploración abierta será clave para la próxima generación de IA. Y es un poco emocionante que la [00:09:00] próxima ola de IA, las IA que van a ser buenas en varias cosas, [00:09:03] nosotros // aún podamos llegar allí a través de los juegos nuevamente. Así que los juegos no van a ninguna parte. Los juegos han estado con IA desde el principio. Y sabes, es bueno ver que jugar sigue siendo quizás la mejor manera de aprender.

[CRÉDITOS]

Jennifer: Este episodio fue informado por Will Douglas-Heaven y yo... y producido por Anthony Green, Emma Cillekens y Karen Hao. Estamos editados por Niall Firth, Michael Reilly y Mat Honan. Nuestro ingeniero de mezclas es Garret Lang… con diseño de sonido y música de Jacob Gorski.

Gracias por escuchar, soy Jennifer Strong.
[ID TR]

esconder