Los robots obtienen un botón 'Deshacer' que podría ayudarlos a aprender más rápido

Categoría: Sin categorizar Al corriente 27 de noviembre

El aprendizaje por refuerzo profundo funciona de manera muy similar a cuando un niño aprende una habilidad: la práctica hace al maestro. Sin embargo, para un agente autónomo como un robot, su entorno debe restablecerse a su estado original entre intentos, una tarea que puede llevar horas mientras los humanos se apresuran a reemplazar objetos, por ejemplo.

Un nuevo papel de arXiv por investigadores con Google Brain, la Universidad de Cambridge, el Instituto Max Planck para Sistemas Inteligentes y UC Berkeley detalla un método que puede enseñar a un agente a restablecer el entorno para el próximo intento, así como evitar que realice acciones que serían irreversible.

Su avance fue dar a los agentes una política de reenvío y reinicio que funcionen juntos. Si bien la política de reenvío tiene la tarea de aprender una habilidad, presionar restablecer obliga a un agente a aprender cómo no dejar rastro, rebobinando efectivamente una acción. Las acciones que el robot cree que serían irreversibles se anulan lo antes posible.

Los investigadores escriben que buscaron dar intuición a sus agentes para clasificar cualquier cosa que sea reversible como segura, ya que es posible volver al estado original. Mediante prueba y error, el agente descubre que cada vez más acciones son reversibles, lo que le permite explorar con seguridad.

El aprendizaje de refuerzo profundo a menudo se realiza en simulación, y especialmente cuando los entornos del mundo real serán menos indulgentes con los errores, como un automóvil autónomo que se precipita por un precipicio. Incluso en situaciones más seguras, la espera de reinicios manuales puede convertirse en un cuello de botella para la recopilación de datos. Por esta razón, el trabajo del equipo se limitó a entornos virtuales. Eventualmente, sin embargo, se deben realizar pruebas en el mundo real, y esta investigación podría hacerlas más rápidas y seguras.

Como señala Jack Clark en su Importar IA Boletin informativo , este artículo se hace eco del trabajo esbozado en otro papel (PDF) de Facebook AI Research el mes pasado, en el que un solo agente tiene dos modos separados, apodados Alice y Bob, uno de los cuales intenta revertir la tarea que el otro ha intentado completar. Este tipo de trabajo para hacer que la IA pueda planificar con anticipación podría salvarla (y a nosotros) de errores desastrosos en el futuro.