La técnica que le enseñó a la IA a jugar Go todavía no puede enseñarle a un automóvil a conducir

Categoría: Inteligencia artificial Al corriente 15 de enero

El aprendizaje por refuerzo (RL), la categoría de aprendizaje automático que se basa en penalizaciones y recompensas, puede ser una técnica poderosa para enseñar a las máquinas a adaptarse a nuevos entornos.

AlphaGo de Deepmind lo usó para derrotar al mejor jugador de Go del mundo a pesar de no haberlo jugado antes. También se ha mostrado prometedor en la creación de robots que pueden funcionar en condiciones cambiantes.

Pero la técnica tiene sus limitaciones. Requiere una máquina para andar dando tumbos mientras refina lentamente sus acciones con el tiempo. Eso está bien en el laboratorio o cuando se juega un juego de mesa. Es menos que ideal para aplicaciones, como automóviles autónomos, donde un error podría ser fatal.

En respuesta, los investigadores han desarrollado diferentes formas de eludir la necesidad de capacitación en el mundo real. Un automóvil puede usar datos de tráfico para aprender a conducir en una réplica digital segura del mundo físico, por ejemplo, para superar su etapa de error sin poner a nadie en peligro.

Pero esta no es una solución perfecta. Una máquina aún puede cometer errores costosos cuando encuentra situaciones más allá del alcance de sus datos de entrenamiento. En un caso, los investigadores de la Universidad de Nueva York descubrieron que un automóvil había aprendido a hacer giros de 90 grados hacia el tráfico que se aproximaba (afortunadamente, dentro de una simulación) porque su conjunto de datos de entrenamiento no abarcaba ese tipo de escenarios. No hace falta decir que esto no es viable para entrenar de manera segura a un automóvil autónomo o, por ejemplo, a un cirujano robótico.

El mismo equipo de NYU y el director de investigación de IA en Facebook, Yann Lecun, ahora están proponiendo un nuevo método que podría superar este problema. Además de penalizar y recompensar a un automóvil por su comportamiento de conducción, también lo penalizan por desviarse en escenarios en los que no tiene suficientes datos de entrenamiento.

En esencia, esto obliga al automóvil a avanzar con más cautela, explica Mikael Henaff, uno de los autores del estudio, en lugar de hacer giros bruscos y otras maniobras que lo colocan de lleno en territorio desconocido.

Cuando probaron su nuevo enfoque, descubrieron que era mejor que los métodos anteriores para hacer que el automóvil navegara con seguridad en el tráfico denso. Sin embargo, todavía no fue tan bueno como el rendimiento humano, por lo que aún queda más trabajo por hacer.

Esta historia apareció originalmente en nuestro boletín informativo de IA El Algoritmo. Para leer historias como esta primero, reciba El Algoritmo directamente en su bandeja de entrada. Suscríbete aquí gratis.