211service.com
La curiosidad puede ser vital para una IA verdaderamente inteligente
señor. tecnología
Un algoritmo informático equipado con una forma de curiosidad artificial puede aprender a resolver problemas complicados incluso cuando no está claro de inmediato qué acciones podrían ayudarlo a alcanzar este objetivo.
Investigadores de la Universidad de California, Berkeley, desarrollaron un modelo de curiosidad intrínseca para hacer que su algoritmo de aprendizaje funcione incluso cuando no hay una fuerte señal de retroalimentación. El modelo de curiosidad desarrollado por este equipo considera que el software de IA que controla a un agente virtual en un videojuego busca maximizar su comprensión de su entorno y especialmente de los aspectos de ese entorno que lo afectan. Ha habido esfuerzos previos para despertar la curiosidad de los agentes de IA, pero estos han tendido a funcionar de una manera más simple.
El truco puede ayudar a abordar una deficiencia de las técnicas de aprendizaje automático más poderosas de la actualidad, y podría señalar formas de mejorar las máquinas para resolver problemas del mundo real.
Las recompensas en el mundo real son muy escasas, dice Pulkit Agrawal , un estudiante de doctorado en UC Berkeley que llevó a cabo la investigación con colegas. Los bebés hacen todos estos experimentos al azar, y puedes pensar en eso como una especie de curiosidad. Están aprendiendo algún tipo de habilidades.
Varias técnicas poderosas de aprendizaje automático han hecho que las máquinas sean más inteligentes en los últimos años. Entre estos, un método conocido como aprendizaje por refuerzo ha hecho posible que las máquinas logren cosas que serían difíciles de definir en el código. El aprendizaje por refuerzo implica el uso de recompensas positivas para guiar el comportamiento de un algoritmo hacia un objetivo particular (consulte 10 Tecnologías innovadoras 2017: Aprendizaje por refuerzo).
El aprendizaje por refuerzo fue una parte fundamental de AlphaGo , un programa desarrollado por Mente profunda , para jugar el juego de mesa abstracto y complejo Go con una habilidad increíble. La técnica ahora se está explorando como una forma de imbuir a las máquinas con otras habilidades que pueden ser imposibles de codificar manualmente. Por ejemplo, puede proporcionar una forma para que un brazo robótico descubra por sí mismo cómo realizar una tarea deseada.
Sin embargo, el aprendizaje por refuerzo tiene sus limitaciones. Agrawal señala que a menudo se necesita una gran cantidad de capacitación para aprender una tarea, y el proceso puede ser difícil si la retroalimentación requerida no está disponible de inmediato. Por ejemplo, el método no funciona para juegos de computadora en los que los beneficios de ciertos comportamientos no son inmediatamente obvios. Ahí es donde la curiosidad podría ayudar.
Los investigadores probaron el enfoque, en combinación con el aprendizaje por refuerzo, en dos videojuegos simples: Mario Bros., un juego de plataformas clásico, y VizDoom, un título básico de disparos en 3D.
En ambos juegos, el uso de la curiosidad artificial hizo más eficiente el proceso de aprendizaje. En el juego en 3-D, por ejemplo, en lugar de pasar una cantidad excesiva de tiempo chocando contra las paredes, el agente se movía por su entorno, aprendiendo a navegar más rápido. Incluso sin ninguna otra recompensa, el agente pudo navegar ambos juegos sorprendentemente bien. En Mario Bros. aprendió a evitar que lo mataran porque esto disminuía su capacidad de explorar y aprender sobre su entorno.
A papel la descripción de la investigación se publicará en una importante Conferencia de IA más tarde este año.
La curiosidad artificial ha sido un área activa de investigación durante algún tiempo. Pierre-Yves Oudeyer , director de investigación del Instituto Francés de Investigación en Informática y Automatización , ha sido pionera, en los últimos años, en el desarrollo de programas informáticos y robots que exhiben formas simples de curiosidad.
Lo que es muy emocionante en este momento es que estas ideas, que fueron vistas como 'exóticas' tanto por los principales investigadores de IA como de neurociencia, ahora se están convirtiendo en un tema importante tanto en IA como en neurociencia, dice Oudeyer.
El trabajo podría tener beneficios prácticos reales. El equipo de UC Berkeley está ansioso por probarlo en robots que utilizan el aprendizaje por refuerzo para descubrir cómo hacer cosas como agarrar objetos extraños. Agrawal dice que los robots pueden perder una gran cantidad de tiempo realizando gestos aleatorios. Cuando está equipado con una curiosidad innata, dicho robot debería explorar más rápidamente su entorno y experimentar con objetos cercanos, dice.
lago brenden , un científico investigador de la Universidad de Nueva York que construye modelos computacionales de capacidades cognitivas humanas, dice que el trabajo parece prometedor. Desarrollar máquinas con cualidades similares es un paso importante hacia la construcción de máquinas que aprendan y piensen como personas, dijo en un correo electrónico. Es muy impresionante que al usar solo el aprendizaje impulsado por la curiosidad, el agente pueda aprender a navegar un nivel en Mario. El agente ni siquiera mira el puntaje del juego.
Al mismo tiempo, dice Lake, la curiosidad demostrada por el nuevo programa es bastante diferente a la de, por ejemplo, un niño. Los humanos tienden a mostrar un interés mucho más profundo en su mundo, dice.
Es una forma de curiosidad muy egocéntrica, dice Lake. El agente solo siente curiosidad por las características de su entorno que se relacionan con sus propias acciones. La gente es más curiosa en términos generales. La gente quiere aprender sobre el mundo de maneras menos directamente ligadas a sus propias acciones.