Las redes neuronales están aprendiendo qué recordar y qué olvidar

El aprendizaje profundo está cambiando la forma en que usamos y pensamos acerca de las máquinas. Las encarnaciones actuales son mejores que los humanos en todo tipo de tareas, desde ajedrez y Go hasta reconocimiento de rostros y reconocimiento de objetos.

Pero muchos aspectos del aprendizaje automático van muy por detrás del rendimiento humano. En particular, los humanos tienen la extraordinaria habilidad de actualizar constantemente sus recuerdos con el conocimiento más importante mientras sobrescriben información que ya no es útil.

Esa es una habilidad importante. El mundo proporciona una fuente inagotable de datos, muchos de los cuales son irrelevantes para el complicado negocio de la supervivencia, y la mayoría de los cuales son imposibles de almacenar en una memoria limitada. Entonces, los humanos y otras criaturas han desarrollado formas de retener habilidades importantes mientras olvidan las irrelevantes.

A las redes neuronales ahora se les está enseñando a olvidar.

No se puede decir lo mismo de las máquinas. Cualquier habilidad que aprendan se sobrescribe rápidamente, independientemente de su importancia. Actualmente no existe un mecanismo confiable que puedan usar para priorizar estas habilidades, decidiendo qué recordar y qué olvidar.

Hoy eso parece que va a cambiar gracias al trabajo de Rahaf Aljundi y sus amigos en la Universidad de Lovaina en Bélgica y en Facebook AI Research. Estos muchachos han demostrado que el enfoque que usan los sistemas biológicos para aprender y olvidar, también puede funcionar con redes neuronales artificiales.

La clave es un proceso conocido como aprendizaje hebbiano, propuesto por primera vez en la década de 1940 por el psicólogo canadiense Donald Hebb para explicar la forma en que aprenden los cerebros a través de la plasticidad sináptica. La teoría de Hebb se puede resumir como las células que disparan juntas se conectan entre sí.

En otras palabras, las conexiones entre las neuronas se fortalecen si se disparan juntas y, por lo tanto, estas conexiones son más difíciles de romper. Así es como aprendemos: el disparo sincronizado repetido de las neuronas hace que las conexiones entre ellas sean más fuertes y más difíciles de sobrescribir.

Entonces, Aljundi y compañía han desarrollado una forma para que las redes neuronales artificiales se comporten de la misma manera. Lo hacen midiendo los resultados de una red neuronal y monitoreando qué tan sensibles son a los cambios en las conexiones dentro de la red.

Esto les da una idea de qué parámetros de red son más importantes y, por lo tanto, deben conservarse. Al aprender una nueva tarea, los cambios en parámetros importantes se ven penalizados, dice el equipo. Dicen que la red resultante tiene sinapsis conscientes de la memoria.

Han puesto esta idea a prueba con un conjunto de pruebas en las que una red neuronal entrenada para hacer una cosa recibe datos que la entrenan para hacer otra cosa. Por ejemplo, a una red entrenada para reconocer flores se le muestran pájaros. Luego, los investigadores le muestran flores nuevamente para ver cuánto de esta habilidad se conserva.

Las redes neuronales con sinapsis conscientes de la memoria funcionan mejor en estas pruebas que otras redes. En otras palabras, conservan más de la habilidad original que las redes sin esta habilidad, aunque los resultados ciertamente dejan espacio para la mejora.

Sin embargo, el punto clave es que el equipo ha encontrado una manera para que las redes neuronales empleen el aprendizaje hebbiano. Mostramos que una versión local de nuestro método es una aplicación directa de la regla de Hebb para identificar las conexiones importantes entre las neuronas, dicen Aljundi y compañía.

Eso tiene implicaciones para el futuro del aprendizaje automático. Si estos científicos pueden mejorar su versión del aprendizaje hebbiano, deberían hacer que las máquinas sean más flexibles en su aprendizaje. Y eso les permitirá adaptarse mejor al mundo real.

Ref: arxiv.org/abs/1711.09601 : Sinapsis conscientes de la memoria: aprender qué (no) olvidar

esconder