Una mano robótica aprendió por sí misma a resolver un cubo de Rubik después de crear su propio régimen de entrenamiento

ABIERTO IA abierta

Hace más de un año, OpenAI, el laboratorio de investigación de inteligencia artificial con fines de lucro con sede en San Francisco, anunció que había entrenado una mano robótica para manipular un cubo con una destreza notable.

Puede que eso no suene trascendental. Pero en el mundo de la IA, fue impresionante por dos razones. Primero, la mano se había enseñado a sí misma a jugar con el cubo usando un algoritmo de aprendizaje por refuerzo, una técnica modelada en la forma en que aprenden los animales. En segundo lugar, todo el entrenamiento se había realizado en simulación, pero logró traducirse con éxito al mundo real. En ambos sentidos, fue un paso importante hacia robots más ágiles para aplicaciones industriales y de consumo.

Estaba algo asombrado, dice Leslie Kaelbling, robótica y profesora del MIT, de los resultados de 21018. No es algo que hubiera imaginado que podrían haber hecho funcionar.

en un nuevo papel hoy, OpenAI ha publicado los últimos resultados con su mano robótica, Dactyl. Esta vez, Dactyl ha aprendido a resolver un cubo de Rubik con una mano, una vez más a través del aprendizaje por refuerzo en la simulación. Esto es notable no tanto porque un robot descifró el viejo rompecabezas como porque el logro requirió un nuevo nivel de destreza.

Este es un problema realmente difícil, dice Dmitry Berenson, roboticista de la Universidad de Michigan que se especializa en la manipulación de máquinas. El tipo de manipulación requerida para rotar las partes del cubo de Rubik es en realidad mucho más difícil que rotar un cubo.

Durante las pruebas, Dactyl resolvió con éxito el cubo de Rubik incluso en circunstancias inesperadas.

Del mundo virtual al físico

Tradicionalmente, los robots solo han podido manipular objetos de formas muy simples. Si bien los algoritmos de aprendizaje por refuerzo han tenido un gran éxito en el logro de tareas complejas en el software, como vencer al mejor jugador humano en el antiguo juego de Go, usarlos para entrenar una máquina física ha sido una historia diferente. Eso se debe a que los algoritmos deben refinarse a sí mismos a través de prueba y error, en muchos casos, millones de rondas. Probablemente tomaría demasiado tiempo y mucho desgaste para que un robot físico hiciera esto en el mundo real. Incluso podría ser peligroso si el robot se agitara salvajemente para recopilar datos.

Para evitar esto, los especialistas en robótica utilizan la simulación: construyen un modelo virtual de su robot y lo entrenan virtualmente para realizar la tarea en cuestión. El algoritmo aprende en la seguridad del espacio digital y luego puede trasladarse a un robot físico. Pero ese proceso viene con sus propios desafíos. Es casi imposible construir un modelo virtual que reproduzca exactamente las mismas leyes de la física, las propiedades de los materiales y los comportamientos de manipulación que se observan en el mundo real, y mucho menos en circunstancias inesperadas. Por lo tanto, cuanto más complejo sea el robot y la tarea, más difícil será aplicar un algoritmo entrenado virtualmente en la realidad física.

Esto es lo que impresionó a Kaelbling sobre los resultados de OpenAI hace un año. La clave de su éxito fue que el laboratorio revolvió las condiciones simuladas en cada ronda de entrenamiento para hacer que el algoritmo se adaptara mejor a las diferentes posibilidades.

Estropearon su simulador de muchas maneras locas, dice Kaelbling. No solo cambiaron la cantidad de gravedad que hay, sino que cambiaron en qué dirección apunta la gravedad. Entonces, al tratar de construir una estrategia que funcionara de manera confiable con todas estas permutaciones locas de la simulación, el algoritmo terminó funcionando en el robot real.

En el último artículo, OpenAI lleva esta técnica un paso más allá. Anteriormente, los investigadores tenían que aleatorizar los parámetros en el entorno seleccionando a mano qué permutaciones pensaban que conducirían a un mejor algoritmo. Ahora el sistema de entrenamiento hace esto por sí mismo. Cada vez que el robot alcanza un cierto nivel de dominio en el entorno existente, el simulador modifica sus propios parámetros para hacer que las condiciones de entrenamiento sean aún más difíciles.

El resultado es un algoritmo aún más robusto que puede moverse con la precisión requerida para rotar un cubo de Rubik en la vida real. A través de las pruebas, los investigadores descubrieron que Dactyl también resolvió con éxito el cubo en varias condiciones en las que no había sido entrenado. Por ejemplo, pudo completar la tarea usando un guante de goma, mientras tenía algunos dedos atados y mientras una jirafa de peluche lo pinchaba.

Robots de propósito general

OpenAI cree que los últimos resultados proporcionan una fuerte evidencia de que su enfoque desbloqueará más robots de uso general que pueden adaptarse en entornos abiertos, como la cocina de una casa. Un cubo de Rubik es uno de los objetos rígidos más complicados que existen, dice Marcin Andrychowicz de OpenAI. Creo que otros objetos no serán mucho más complicados.

Aunque hay tareas más complejas que involucran más objetos u objetos deformables, dice, se siente seguro de que el método del laboratorio puede entrenar robots para todos ellos: creo que este enfoque es el enfoque de la adopción generalizada de la robótica.

Sin embargo, tanto Berenson como Kaelbling se mantienen escépticos. Puede haber una impresión de que hay una teoría o sistema unificado, y ahora OpenAI solo lo está aplicando a esta tarea y esa tarea, dice Berenson sobre el artículo anterior y actual. Pero eso no es lo que está sucediendo en absoluto. Son tareas aisladas. Hay componentes comunes, pero también hay una gran cantidad de ingeniería aquí para hacer que cada nueva tarea funcione.

Es por eso que me siento un poco incómodo con las afirmaciones de que esto conduce a robots de uso general, dice. Veo esto como un sistema muy específico destinado a una aplicación específica.

Berenson cree que parte del problema es el propio aprendizaje por refuerzo. Por naturaleza, la técnica está diseñada para dominar una cosa en particular, con cierta flexibilidad para manejar variaciones. Pero en el mundo real, la cantidad de variaciones potenciales se extiende más allá de lo que se puede simular razonablemente. En una tarea de limpieza, por ejemplo, podría tener diferentes tipos de trapeadores, diferentes tipos de derrames y diferentes tipos de pisos.

El aprendizaje por refuerzo también está diseñado para aprender nuevas capacidades en gran parte desde cero. Eso no es eficiente en robótica ni fiel a cómo aprenden los humanos. Si ya eres un ser humano razonablemente competente y traté de enseñarte una habilidad motora en la cocina, como si nunca hubieras batido algo con una cuchara, no es como si tuvieras que volver a aprender todo el control motor, dice Kaelbling. .

Ir más allá de estas limitaciones, argumenta Berenson, requerirá otras técnicas de robótica más tradicionales. Habrá algunos procesos de aprendizaje, probablemente aprendizaje por refuerzo, al final del día, dice. Pero creo que esos en realidad deberían venir mucho más tarde.

Para recibir más historias como esta directamente en su bandeja de entrada, suscríbase a nuestro boletín informativo de IA nominado por Webby, The Algorithm. Es gratis.

esconder