Facebook está entrenando asistentes robóticos para escuchar y ver

Tienes Facebook

En junio de 2019, el laboratorio de IA de Facebook, FAIR, lanzó AI Habitat, una nueva plataforma de simulación para entrenar agentes de IA. Permitió a los agentes explorar varios entornos virtuales realistas, como un apartamento amueblado o una oficina llena de cubículos. Luego, la IA podría trasladarse a un robot, que obtendría la inteligencia para navegar por el mundo real sin fallar.

En el año transcurrido desde entonces, FAIR ha ampliado rápidamente los límites de su trabajo sobre la IA incorporada. en un publicación de blog hoy , el laboratorio ha anunciado tres hitos adicionales alcanzados: dos nuevos algoritmos que permiten a un agente crear y recordar rápidamente un mapa de los espacios por los que navega, y la adición de sonido en la plataforma para enseñar a los agentes a escuchar.

Los algoritmos se basan en el trabajo de FAIR en enero de este año, cuando un agente fue capacitado en Hábitat para navegar en entornos desconocidos sin un mapa . Usando solo una cámara de detección de profundidad, GPS y datos de brújula, aprendió a ingresar a un espacio como lo haría un humano y a encontrar el camino más corto posible hacia su destino sin giros equivocados, retrocesos o exploración.

El primero de estos nuevos algoritmos ahora puede construir un mapa del espacio al mismo tiempo, lo que le permite recordar el entorno y navegar a través de él más rápido si regresa. El segundo mejora la capacidad del agente para mapear el espacio sin necesidad de visitar cada parte del mismo. Habiendo sido entrenado en suficientes entornos virtuales, es capaz de anticipar ciertas características en uno nuevo; puede saber, por ejemplo, que es probable que haya un espacio libre en el piso detrás de una isla de cocina sin navegar al otro lado para mirar. Una vez más, esto finalmente permite que el agente se mueva más rápido a través de un entorno.

Finalmente, el laboratorio también creó SoundSpaces, una herramienta de reproducción de sonido que permite a los investigadores agregar una acústica muy realista a cualquier entorno de Hábitat. Podría representar los sonidos producidos al golpear diferentes muebles, o los sonidos de los tacones contra las zapatillas de deporte en el suelo. La adición le da a Hábitat la capacidad de capacitar a los agentes en tareas que requieren detección tanto visual como auditiva, como Obtener mi teléfono que suena o Abrir la puerta donde la persona está llamando.

De los tres desarrollos, la adición de una formación sólida es la más emocionante, dice Ani Kembhavi, investigadora de robótica en el Instituto Allen de Inteligencia Artificial, que no participó en el trabajo. Investigaciones similares en el pasado se han centrado más en dar a los agentes la capacidad de ver o responder a los comandos de texto. Agregar audio es un próximo paso esencial y emocionante, dice. Veo muchas tareas diferentes donde las entradas de audio serían muy útiles. La combinación de visión y sonido en particular es un área de investigación poco explorada, dice Pieter Abeel, director del Robot Learning Lab de la Universidad de California, Berkeley.

Cada uno de estos desarrollos, dicen los investigadores de FAIR, acerca cada vez más al laboratorio a lograr asistentes robóticos inteligentes. El objetivo es que estos compañeros puedan moverse ágilmente y realizar tareas sofisticadas como cocinar.

Pero pasará mucho tiempo antes de que podamos dejar sueltos a los asistentes robóticos en la cocina. Uno de los muchos obstáculos que FAIR deberá superar: llevar todo el entrenamiento virtual al mundo físico, un proceso conocido como transferencia sim2real. Cuando los investigadores probaron inicialmente sus algoritmos entrenados virtualmente en robots físicos, el proceso no salió tan bien.

En el futuro, los investigadores de FAIR esperan comenzar a agregar capacidades de interacción en Hábitat también. Digamos que soy un agente, dice Kristen Grauman, científica investigadora de FAIR y profesora de informática en la Universidad de Texas, Austin, quien dirigió parte del trabajo. Entro y veo estos objetos. ¿Qué puedo hacer con ellos? ¿Adónde iría si se supone que debo hacer un soufflé? ¿Qué herramientas elegiría? Este tipo de interacciones e incluso cambios en el entorno basados ​​en la manipulación llevarían este tipo de trabajo a otro nivel. Eso es algo que estamos persiguiendo activamente.

esconder