Un algoritmo que aprende a través de recompensas puede mostrar cómo nuestro cerebro también lo hace

Vías neurales Wikimedia Commons

En 1951, Marvin Minsky, entonces estudiante de Harvard, tomó prestadas observaciones del comportamiento animal para tratar de diseñar una máquina inteligente. Basándose en ideas del trabajo del fisiólogo Ivan Pavlov, quien usó perros para mostrar cómo los animales aprenden a través de castigos y recompensas, Minsky creó una computadora que podría aprender continuamente a través de un refuerzo similar para resolver un laberinto virtual.

En ese momento, los neurocientíficos aún tenían que descubrir los mecanismos dentro del cerebro que permiten que los animales aprendan de esta manera. Pero Minsky aún pudo imitar vagamente el comportamiento, lo que hizo avanzar la inteligencia artificial. Varias décadas más tarde, a medida que el aprendizaje por refuerzo continuó madurando, a su vez ayudó al campo de la neurociencia. descubrir esos mecanismos, alimentando un círculo virtuoso de avance entre los dos campos.

en un artículo publicado Hoy en Nature, DeepMind, la subsidiaria de inteligencia artificial de Alphabet, ha utilizado una vez más las lecciones del aprendizaje por refuerzo para proponer una nueva teoría sobre los mecanismos de recompensa dentro de nuestro cerebro. La hipótesis, respaldada por los hallazgos experimentales iniciales, no solo podría mejorar nuestra comprensión de la salud mental y la motivación. También podría validar la dirección actual de la investigación de IA hacia la construcción de una inteligencia general más similar a la humana.

En un alto nivel, el aprendizaje por refuerzo sigue la idea derivada de los perros de Pavlov: es posible enseñar a un agente a dominar tareas complejas y novedosas solo a través de comentarios positivos y negativos. Un algoritmo comienza a aprender una tarea asignada al predecir aleatoriamente qué acción podría generar una recompensa. Luego toma la acción, observa la recompensa real y ajusta su predicción en función del margen de error. Después de millones o incluso miles de millones de intentos, los errores de predicción del algoritmo convergen a cero, momento en el que sabe con precisión qué acciones tomar para maximizar su recompensa y así completar su tarea.

Resulta que el sistema de recompensas del cerebro funciona de la misma manera: un descubrimiento realizado en la década de 1990, inspirado en los algoritmos de aprendizaje por refuerzo. Cuando un ser humano o un animal está a punto de realizar una acción, sus neuronas de dopamina hacen una predicción sobre la recompensa esperada. Una vez que se recibe la recompensa real, disparan una cantidad de dopamina que corresponde al error de predicción. Una recompensa mejor de lo esperado desencadena una fuerte liberación de dopamina, mientras que una recompensa peor de lo esperado suprime la producción de la sustancia química. La dopamina, en otras palabras, sirve como una señal de corrección, diciéndoles a las neuronas que ajusten sus predicciones hasta que converjan a la realidad. El fenómeno, conocido como error de predicción de recompensa, funciona de manera muy similar a un algoritmo de aprendizaje por refuerzo.

El nuevo artículo de DeepMind se basa en la estrecha conexión entre estos mecanismos de aprendizaje naturales y artificiales. En 2017, sus investigadores introdujeron un algoritmo mejorado de aprendizaje por refuerzo que desde entonces ha desbloqueado un rendimiento cada vez más impresionante en varias tareas. Ahora creen que este nuevo método podría ofrecer una explicación aún más precisa de cómo funcionan las neuronas de dopamina en el cerebro.

Específicamente, el algoritmo mejorado cambia la forma en que predice las recompensas. Mientras que el enfoque anterior estimaba las recompensas como un solo número, destinado a igualar el resultado promedio esperado, el nuevo enfoque las representa con mayor precisión como una distribución. (Piense por un momento en una máquina tragamonedas: puede ganar o perder después de alguna distribución. Pero en ningún caso recibiría el resultado esperado promedio).

La modificación se presta a una nueva hipótesis: ¿las neuronas de dopamina también predicen las recompensas de la misma forma distributiva?

Para probar esta teoría, DeepMind se asoció con un grupo de Harvard para observar el comportamiento de las neuronas de dopamina en ratones. Pusieron a los ratones en una tarea y los recompensaron en función de la tirada de dados, midiendo los patrones de activación de sus neuronas de dopamina en todo momento. Descubrieron que cada neurona liberaba diferentes cantidades de dopamina, lo que significa que todas habían predicho diferentes resultados. Mientras que algunos eran demasiado optimistas y predecían recompensas más altas de las que realmente recibieron, otros eran más pesimistas y menospreciaban la realidad. Cuando los investigadores mapearon la distribución de esas predicciones, siguieron de cerca la distribución de las recompensas reales. Estos datos ofrecen evidencia convincente de que el cerebro, de hecho, utiliza predicciones de recompensa distributivas para fortalecer su algoritmo de aprendizaje.

Al medir el comportamiento de las neuronas de dopamina en ratones, los investigadores descubrieron que la distribución de las predicciones de las neuronas (descifradas) seguía de cerca la distribución de las recompensas reales (verdad básica). Mente profunda

Esta es una buena extensión de la noción de codificación de dopamina del error de predicción de recompensa, escribió en un correo electrónico Wolfram Schultz, un pionero en el comportamiento de las neuronas de dopamina que no participó en el estudio. Es sorprendente cómo esta respuesta de dopamina tan simple sigue de manera predecible patrones intuitivos de procesos básicos de aprendizaje biológico que ahora se están convirtiendo en un componente de la IA.

El estudio tiene implicaciones tanto para la IA como para la neurociencia. Primero, valida el aprendizaje por refuerzo distributivo como un camino prometedor hacia capacidades de IA más avanzadas. Si el cerebro lo está usando, probablemente sea una buena idea, dijo Matt Botvinick, director de investigación en neurociencia de DeepMind y uno de los autores principales del artículo, durante una rueda de prensa. Nos dice que esta es una técnica computacional que puede escalar en situaciones del mundo real. Va a encajar bien con otros procesos computacionales.

En segundo lugar, podría ofrecer una actualización importante de una de las teorías canónicas de la neurociencia sobre los sistemas de recompensa en el cerebro, lo que a su vez podría mejorar nuestra comprensión de todo, desde la motivación hasta la salud mental. ¿Qué podría significar, por ejemplo, tener neuronas de dopamina pesimistas y optimistas? Si el cerebro escuchara selectivamente solo uno u otro, ¿podría provocar desequilibrios químicos e inducir depresión?

Fundamentalmente, mediante más procesos de decodificación en el cerebro, los resultados también arrojan luz sobre lo que crea la inteligencia humana. Nos da una nueva perspectiva sobre lo que sucede en nuestro cerebro durante la vida cotidiana, dijo Botvinick.

esconder