211service.com
Los algoritmos de lectura de la mente reconstruyen lo que está viendo usando datos de escaneo cerebral
Una comparación de técnicas de reconstrucción de imágenes cerebrales. Las imágenes originales se muestran en la fila superior, mientras que los resultados del nuevo modelo multivista generativo profundo se muestran en la fila inferior.
Uno de los objetivos más interesantes de la neurociencia es reconstruir imágenes percibidas mediante el análisis de escáneres cerebrales. La idea es averiguar qué mira la gente monitoreando la actividad en su corteza visual.
La dificultad, por supuesto, es encontrar formas de procesar eficientemente los datos de las exploraciones de resonancia magnética funcional (fMRI). La tarea es mapear la actividad en vóxeles tridimensionales dentro del cerebro a píxeles bidimensionales en una imagen.
Eso resulta ser difícil. Las exploraciones de fMRI son famosas por su ruido, y se sabe que la actividad en un vóxel está influenciada por la actividad en otros vóxeles. Este tipo de correlación es computacionalmente costosa de manejar; de hecho, la mayoría de los enfoques simplemente lo ignoran. Y eso reduce significativamente la calidad de las reconstrucciones de imágenes que producen.
Por lo tanto, un objetivo importante es encontrar mejores formas de analizar los datos de las exploraciones de IRMf y producir así reconstrucciones de imágenes cerebrales más precisas.
Hoy, Changde Du en el Centro de Investigación para la Inteligencia Inspirada en el Cerebro en Beijing, China, y un par de amigos, dicen que han desarrollado una técnica de este tipo. Su truco es procesar los datos utilizando técnicas de aprendizaje profundo que manejan las correlaciones no lineales entre vóxeles de manera más capaz. El resultado es una forma mucho mejor de reconstruir la forma en que el cerebro percibe las imágenes.
Changde y sus colegas comienzan con varios conjuntos de datos de escaneos de IRMf de la corteza visual de un sujeto humano que observa una imagen simple, por ejemplo, un solo dígito o una sola letra. Cada conjunto de datos consiste en los escaneos y la imagen original.
La tarea es encontrar una manera de utilizar las exploraciones de IRMf para reproducir la imagen percibida. En total, el equipo tiene acceso a más de 1.800 escaneos fMRI e imágenes originales.
Tratan esto como una tarea sencilla de aprendizaje profundo. Utilizan el 90 por ciento de los datos para entrenar a la red para que comprenda la correlación entre el escáner cerebral y la imagen original.
Luego prueban la red con los datos restantes al alimentarla con los escaneos y pedirle que reconstruya las imágenes originales.
La gran ventaja de este enfoque es que la red aprende qué vóxeles usar para reconstruir la imagen. Eso evita la necesidad de procesar los datos de todos ellos.
También aprende cómo se correlacionan los datos de estos vóxeles. Eso es importante porque si se ignoran las correlaciones, terminan siendo tratadas como ruido y descartadas. Entonces, el nuevo enfoque, el llamado modelo multivista generativo profundo, explota estas correlaciones y las distingue del ruido real.
Para evaluar el modelo multivista generativo profundo, Changde y sus colegas compararon sus resultados con los de otras técnicas de reconstrucción de imágenes cerebrales. Lo hacen utilizando métodos estándar de comparación de imágenes para ver qué tan cerca están las imágenes reconstruidas de las originales.
Los resultados hacen una lectura interesante. En general, las imágenes reconstruidas son representaciones claras de los originales. En muchos casos, son significativamente más precisos que lo que pueden lograr otras técnicas.
Las métricas de comparación de imágenes así lo confirman. Amplias comparaciones experimentales demuestran que nuestro enfoque puede reconstruir imágenes visuales a partir de mediciones de fMRI con mayor precisión, dicen Changde y compañía.
Es un trabajo interesante con implicaciones significativas. La capacidad de reconstruir imágenes cerebrales es un paso importante en el trabajo para crear mejores interfaces cerebro-máquina. Los próximos pasos incluirán formas de analizar escenas más complejas e imágenes en movimiento. Changde y compañía dicen que su enfoque también podría aplicarse a otros problemas de codificación cerebral, como tareas físicas y de audio.
Más allá de eso, quién sabe. A partir de aquí, es solo un pequeño salto imaginativo a las técnicas de escaneo cerebral que revelan lo que la gente está pensando o soñando. ¡Solo imagina!
Ref: arxiv.org/abs/1704.07575 : Compartir representación generativa profunda para la reconstrucción de imágenes percibidas a partir de la actividad del cerebro humano