La empresa emergente DeepMind de Google presenta una 'máquina neuronal de Turing'

Uno de los grandes retos de la neurociencia es comprender la memoria de trabajo a corto plazo en el cerebro humano. Al mismo tiempo, a los informáticos les encantaría reproducir el mismo tipo de memoria en silico .

Hoy, la empresa emergente DeepMind de Google, que compró por 400 millones de dólares a principios de este año, presenta un prototipo de computadora que intenta imitar algunas de las propiedades de la memoria de trabajo a corto plazo del cerebro humano. La nueva computadora es un tipo de red neuronal que ha sido adaptada para trabajar con una memoria externa. El resultado es una computadora que aprende a medida que almacena recuerdos y luego puede recuperarlos para realizar tareas lógicas más allá de las que ha sido entrenada para hacer.

El avance de DeepMind sigue una larga historia de trabajo sobre la memoria a corto plazo. En la década de 1950, el psicólogo cognitivo estadounidense George Miller llevó a cabo uno de los experimentos más famosos de la historia de la ciencia del cerebro. Miller estaba interesado en la capacidad de la memoria de trabajo del cerebro humano y se dispuso a medirla con la ayuda de un gran número de estudiantes a los que pidió que realizaran tareas de memoria sencillas.

La sorprendente conclusión de Miller fue que la capacidad de la memoria a corto plazo no puede definirse por la cantidad de información que contiene. En cambio, Miller concluyó que la memoria de trabajo almacena información en forma de fragmentos y que podría contener aproximadamente siete de ellos.

Eso plantea la curiosa pregunta: ¿qué es un trozo? En los experimentos de Miller, un fragmento podría ser un solo dígito como un 4, una sola letra como una q, una sola palabra o un pequeño grupo de palabras que juntas tienen un significado específico. Por lo tanto, cada fragmento puede representar cualquier cosa, desde una cantidad muy pequeña de información hasta una idea enormemente compleja que equivale a grandes cantidades de información.

Pero independientemente de la cantidad de información que represente un solo fragmento, el cerebro humano puede almacenar solo alrededor de siete en su memoria de trabajo.

Aquí hay un ejemplo. Considere la siguiente oración: Este libro es una lectura emocionante con una trama compleja y personajes realistas.

Esta oración consta de alrededor de siete fragmentos de información y es claramente manejable para cualquier lector común.

En contraste, intente con esta oración: este libro sobre el Imperio Romano durante los primeros años del reinado de Augusto César al final de la República Romana, describe los eventos que siguieron a la sangrienta Batalla de Actium en el 31 a. C. cuando el joven emperador derrotó a Marco Antonio y Cleopatra. superándolos ampliamente en un gran enfrentamiento naval.

Esta oración contiene al menos 20 fragmentos. Entonces, si le resultó más difícil de leer, no debería ser una sorpresa. El cerebro humano tiene problemas para retener tantos fragmentos en su memoria de trabajo.

En la ciencia cognitiva, la capacidad de comprender los componentes de una oración y almacenarlos en la memoria de trabajo se denomina enlace variable. Esta es la capacidad de tomar un dato y asignarlo a una ranura en la memoria y hacerlo repetidamente con datos de diferente longitud, como fragmentos.

Durante las décadas de 1990 y 2000, los informáticos intentaron repetidamente diseñar algoritmos, circuitos y redes neuronales que pudieran realizar este truco. Tal computadora debería ser capaz de analizar una oración simple como Mary le habló a John dividiéndola en sus partes componentes de actor, acción y receptor de la acción. Entonces, en este caso, le asignaría el rol de actor a María, el rol de acción a las palabras dirigidas y el rol de receptor de la acción a Juan.

Es esta tarea la que aborda el trabajo de DeepMind, a pesar del rendimiento muy limitado de las máquinas anteriores. Nuestra arquitectura se basa en este trabajo y lo potencia, dicen Alex Graves, Greg Wayne e Ivo Danihelka de DeepMind, con sede en Londres.

Comienzan redefiniendo la naturaleza de una red neuronal. Hasta ahora, las redes neuronales han sido patrones de neuronas interconectadas que son capaces de cambiar la fuerza de las interconexiones en respuesta a alguna entrada externa. Esta es una forma de aprendizaje que les permite detectar similitudes entre diferentes entradas.

Pero el proceso fundamental de la computación contiene un importante elemento adicional. Esta es una memoria externa en la que se puede escribir y leer durante el curso de un cálculo. En la famosa descripción de Turing de una computadora, la memoria es el teletipo que pasa de un lado a otro a través de la computadora y que almacena símbolos de varios tipos para su procesamiento posterior.

Este tipo de memoria legible y escribible está ausente en una red neuronal convencional. Así que Graves y compañía simplemente agregaron uno. Esto permite que la red neuronal almacene variables en su memoria y vuelva a ellas más tarde para usarlas en un cálculo.

Esto es similar a la forma en que una computadora común puede colocar el número 3 y el número 4 dentro de los registros y luego agregarlos para hacer 7. La diferencia es que la red neuronal puede almacenar patrones más complejos de variables que representan, por ejemplo, la palabra María. .

Dado que esta forma de computación difiere de manera importante de una red neuronal convencional, Graves y compañía le dan un nuevo nombre: la llaman Neural Turing Machine, la primera de su tipo que se ha construido. La Neural Turing Machine aprende como una red neuronal convencional utilizando las entradas que recibe del mundo exterior, pero también aprende cómo almacenar esta información y cuándo recuperarla.

El trabajo de DeepMind implica primero construir el dispositivo y luego ponerlo a prueba. Sus experimentos consisten en una serie de pruebas para ver si, habiendo entrenado una máquina de Turing neuronal para realizar una determinada tarea, podría extender esta capacidad a tareas más grandes o más complejas. Por ejemplo, teníamos curiosidad por ver si una red que había sido entrenada para copiar secuencias de hasta 20 de longitud podía copiar una secuencia de 100 de longitud sin más entrenamiento, dicen Graves y compañía.

Resulta que la máquina neuronal de Turing aprende a copiar secuencias de longitudes de hasta 20 más o menos perfectamente. Y luego copia secuencias de 30 y 50 longitudes con muy pocos errores. Para una secuencia de longitud 120, los errores comienzan a aparecer, incluido un error en el que se duplica un solo término y, por lo tanto, hace retroceder todos los términos siguientes. A pesar de estar subjetivamente cerca de una copia correcta, esto conduce a una gran pérdida, dice el equipo.

Aunque las secuencias involucradas son aleatorias, no es difícil imaginar cómo podrían representar ideas más complejas, como María, habló con o Juan. Un punto importante es que la cantidad de información que contienen estas secuencias es variable, como trozos.

Comparan el rendimiento de su Neural Turing Machine con una red neuronal convencional. La diferencia es significativa. La red neuronal convencional aprende a copiar secuencias de hasta 20 de longitud casi a la perfección. Pero cuando se trata de secuencias que son más largas que los datos de entrenamiento, los errores se vuelven significativos inmediatamente. Y su copia de la secuencia más larga de longitud 120 es casi irreconocible en comparación con el original.

El equipo de DeepMind continúa probando la Neural Turing Machine en otras tareas. Por ejemplo, uno de estos es el equivalente a fotocopiar: la tarea es copiar una secuencia y luego repetir esa secuencia un número específico de veces y terminar con un marcador predeterminado. Una vez más, Neural Turing Machine supera significativamente a una red neuronal convencional.

Esa es una obra impresionante. Nuestros experimentos demuestran que [nuestra Neural Turing Machine] es capaz de aprender algoritmos simples a partir de datos de ejemplo y de utilizar estos algoritmos para generalizar bien fuera de su régimen de entrenamiento, dicen Graves y compañía.

Ese es un importante paso adelante que tiene el potencial de hacer que las máquinas de cómputo sean mucho más parecidas al cerebro que nunca. Pero hay un trabajo importante por delante.

En particular, el cerebro humano realiza un ingenioso truco para dar sentido a argumentos complejos. Una pregunta interesante que surge de los primeros trabajos de Miller es la siguiente: si nuestra memoria de trabajo solo es capaz de manejar siete fragmentos, ¿cómo le damos sentido a los argumentos complejos en los libros, por ejemplo, que consisten en miles o decenas de miles de fragmentos?

La respuesta de Miller es que el cerebro usa un truco conocido como recodificación. Volvamos a nuestro ejemplo del libro y agreguemos otra oración: Este libro es una lectura emocionante con una trama compleja y personajes realistas. Claramente vale la pena el precio de portada.

Una vez que haya leído y entendido la primera oración, su cerebro almacena esos siete fragmentos de una manera que está disponible como un solo fragmento en la siguiente oración. En esta segunda oración, el pronombre es este solo trozo. Nuestro cerebro sabe automáticamente lo que significa: el libro que es una lectura emocionante con una trama compleja y personajes realistas. Ha recodificado los siete fragmentos anteriores en un solo fragmento.

Para Miller, la capacidad del cerebro para recodificar de esta manera era una de las claves de la inteligencia artificial. Él creía que hasta que una computadora pudiera reproducir esta habilidad, nunca podría igualar el rendimiento del cerebro humano.

DeepMind de Google ha declarado que su objetivo es resolver la inteligencia. Si esta solución se parece en algo a la inteligencia humana, una buena prueba sería ver si las Neural Turing Machines son capaces del truco de recodificación de Miller.

Ref: arxiv.org/abs/1410.5401 : Máquinas de Turing Neurales

esconder