Geoffrey Hinton tiene una corazonada sobre lo que sigue para la IA

Kiel Mutschelknaus

En noviembre, el informático y psicólogo cognitivo Geoffrey Hinton tuvo una corazonada. Después de medio siglo de intentos, algunos con gran éxito, llegó a otra perspectiva prometedora sobre cómo funciona el cerebro y cómo replicar sus circuitos en una computadora.

Es mi mejor apuesta actual sobre cómo encajan las cosas, dice Hinton desde la oficina de su casa en Toronto, donde ha estado aislado durante la pandemia. Si su apuesta da resultado, podría desencadenar la próxima generación de redes neuronales artificiales: sistemas de computación matemática, vagamente inspirados en las neuronas y sinapsis del cerebro, que son el núcleo de la inteligencia artificial actual. Su motivación honesta, como él dice, es la curiosidad. Pero la motivación práctica, e, idealmente, la consecuencia, es una IA más confiable y fiable.

Hinton, ingeniero de Google y cofundador del Vector Institute for Artificial Intelligence, escribió su corazonada a trompicones, y a finales de febrero anunciado a través de Twitter que había publicado un Artículo de 44 páginas sobre arXiv servidor de preimpresión. Comenzó con un descargo de responsabilidad: este documento no describe un sistema de trabajo, escribió. Más bien, presenta un sistema imaginario. Lo llamó GLOM. El término deriva de aglomerado y la expresión glom juntos.

Hinton piensa en GLOM como una forma de modelar la percepción humana en una máquina: ofrece una nueva forma de procesar y representar información visual en una red neuronal. En un nivel técnico, las entrañas implican un glomming de vectores similares. Los vectores son fundamentales para las redes neuronales: un vector es una matriz de números que codifica información. El ejemplo más simple es el xyz coordenadas de un punto: tres números que indican dónde se encuentra el punto en el espacio tridimensional. Un vector de seis dimensiones contiene tres piezas más de información, tal vez los valores rojo, verde y azul para el color del punto. En una red neuronal, los vectores en cientos o miles de dimensiones representan imágenes o palabras completas. Y al tratar con dimensiones aún más altas, Hinton cree que lo que sucede en nuestro cerebro implica grandes vectores de actividad neuronal.

A modo de analogía, Hinton compara su combinación de vectores similares con la dinámica de una cámara de eco: la amplificación de creencias similares. Una cámara de eco es un completo desastre para la política y la sociedad, pero para las redes neuronales es una gran cosa, dice Hinton. La noción de cámaras de eco mapeadas en redes neuronales la llama islas de vectores idénticos, o más coloquialmente, islas de concordancia: cuando los vectores concuerdan sobre la naturaleza de su información, apuntan en la misma dirección.

Si las redes neuronales fueran más como las personas, al menos pueden fallar de la misma manera que las personas, por lo que obtendremos una idea de lo que podría confundirlas.

Geoffrey Hinton

En espíritu, GLOM también alcanza el elusivo objetivo de modelar la intuición: Hinton piensa que la intuición es crucial para la percepción. Él define la intuición como nuestra capacidad para hacer analogías sin esfuerzo. Desde la infancia y a lo largo de nuestras vidas, le damos sentido al mundo mediante el uso del razonamiento analógico, asignando similitudes de un objeto, idea o concepto a otro o, como dice Hinton, un gran vector a otro. Las similitudes de los grandes vectores explican cómo las redes neuronales hacen un razonamiento analógico intuitivo, dice. En términos más generales, la intuición captura esa forma inefable en que un cerebro humano genera conocimiento. El propio Hinton trabaja de manera muy intuitiva: científicamente, se guía por la intuición y la herramienta de hacer analogías. Y su teoría de cómo funciona el cerebro tiene que ver con la intuición. Soy muy constante, dice.

Hinton espera que GLOM sea uno de varios avances que considera necesarios antes de que la IA sea capaz de resolver problemas verdaderamente ágiles: el tipo de pensamiento humano que permitiría a un sistema dar sentido a cosas nunca antes encontradas; aprovechar similitudes de experiencias pasadas, jugar con ideas, generalizar, extrapolar, comprender. Si las redes neuronales fueran más como personas, dice, al menos pueden fallar de la misma manera que las personas, por lo que obtendremos una idea de lo que podría confundirlos.

Sin embargo, por el momento, GLOM en sí mismo es solo una intuición: es vaporware, dice Hinton. Y reconoce que como acrónimo encaja muy bien, el último modelo original de Geoff. Es, como mínimo, la última.

Fuera de la caja

La devoción de Hinton por las redes neuronales artificiales (un invento de mediados del siglo XX) data de principios de la década de 1970. Para 1986, había hecho un progreso considerable: mientras que inicialmente las redes constaban de solo un par de capas de neuronas, entrada y salida, Hinton y sus colaboradores idearon una técnica para una red más profunda de varias capas. Pero pasaron 26 años antes de que el poder de cómputo y la capacidad de datos alcanzaran y capitalizaran la arquitectura profunda.

En 2012, Hinton ganó fama y riqueza gracias a un avance en el aprendizaje profundo. Con dos estudiantes, implementó una red neuronal multicapa que fue entrenada para reconocer objetos en conjuntos de datos de imágenes masivos. La red neuronal aprendió a mejorar iterativamente en la clasificación e identificación de varios objetos, por ejemplo, un ácaro, un hongo, una motoneta, un gato de Madagascar. Y funcionó con una precisión inesperadamente espectacular.

Historia relacionada

¿Está AI montando un caballo de un solo truco? Casi todos los avances de IA de los que ha oído hablar dependen de un avance que tiene tres décadas. Mantener el ritmo del progreso requerirá enfrentar las serias limitaciones de la IA.

El aprendizaje profundo desencadenó la última revolución de la IA, transformando la visión por computadora y el campo en su conjunto. Hinton cree el aprendizaje profundo debería ser casi todo lo que se necesita para replicar completamente la inteligencia humana.

Pero a pesar de los rápidos avances, aún existen grandes desafíos. Exponga una red neuronal a un conjunto de datos desconocido o a un entorno extraño y se revela frágil e inflexible. Los autos sin conductor y los generadores de lenguaje para escribir ensayos impresionan, pero las cosas pueden salir mal. Los sistemas visuales de IA pueden confundirse fácilmente: una taza de café reconocida desde un lado sería desconocida desde arriba si el sistema no hubiera sido entrenado en esa vista; y con la manipulación de unos pocos píxeles, un panda puede confundirse con un avestruz o incluso con un autobús escolar.

GLOM aborda dos de los problemas más difíciles para los sistemas de percepción visual: comprender una escena completa en términos de objetos y sus partes naturales; y reconocer objetos cuando se ven desde un nuevo punto de vista. (GLOM se enfoca en la visión, pero Hinton espera que la idea se pueda aplicar también al lenguaje).

Un objeto como el rostro de Hinton, por ejemplo, está formado por sus ojos vivaces aunque cansados ​​como perros (demasiada gente haciendo preguntas, muy poco sueño), su boca y orejas, y una nariz prominente, todo coronado por una nariz no demasiado grande. -Alboroto desordenado de mayoritariamente gris. Y dada su nariz, es fácilmente reconocible incluso a primera vista de perfil.

Ambos factores, la relación parte-todo y el punto de vista, son, desde la perspectiva de Hinton, cruciales para la forma en que los humanos ven. Si GLOM alguna vez funciona, dice, hará la percepción de una manera mucho más humana que las redes neuronales actuales.

Sin embargo, agrupar partes en totalidades puede ser un problema difícil para las computadoras, ya que las partes a veces son ambiguas. Un círculo puede ser un ojo, una rosquilla o una rueda. Como lo explica Hinton, la primera generación de sistemas de visión de IA trató de reconocer objetos basándose principalmente en la geometría de la relación parte-todo: la orientación espacial entre las partes y entre las partes y el todo. En cambio, la segunda generación se basó principalmente en el aprendizaje profundo, dejando que la red neuronal se entrenara con grandes cantidades de datos. Con GLOM, Hinton combina los mejores aspectos de ambos enfoques.

Hay una cierta humildad intelectual que me gusta, dice Gary Marcus, fundador y director ejecutivo de Robust.AI y conocido crítico de la gran dependencia del aprendizaje profundo. Marcus admira la voluntad de Hinton de desafiar algo que le dio fama, para admitir que no está funcionando del todo. Es valiente, dice. Y es un gran correctivo decir: 'Estoy tratando de pensar fuera de la caja'.

La arquitectura GLOM

En elaboración de GLOM , Hinton trató de modelar algunos de los atajos mentales (estrategias intuitivas o heurísticas) que la gente usa para dar sentido al mundo. GLOM, y de hecho gran parte del trabajo de Geoff, se trata de observar las heurísticas que las personas parecen tener, construir redes neuronales que podrían tener esas heurísticas y luego mostrar que las redes funcionan mejor en la visión como resultado, dice Nick Frosst, un experto en computación. científico de una startup de idiomas en Toronto que trabajó con Hinton en Google Brain.

Con la percepción visual, una estrategia es analizar partes de un objeto, como diferentes rasgos faciales, y así comprender el todo. Si ve cierta nariz, puede reconocerla como parte de la cara de Hinton; es una jerarquía parte-todo. Para construir un mejor sistema de visión, dice Hinton, tengo una fuerte intuición de que necesitamos usar jerarquías de parte-todo. Los cerebros humanos entienden esta composición parte-todo al crear lo que se llama un árbol de análisis, un diagrama ramificado que demuestra la relación jerárquica entre el todo, sus partes y subpartes. La cara en sí está en la parte superior del árbol, y los ojos, la nariz, las orejas y la boca forman las ramas de abajo.

Uno de los principales objetivos de Hinton con GLOM es replicar el árbol de análisis sintáctico en una red neuronal; esto lo distinguiría de las redes neuronales anteriores. Por razones técnicas, es difícil de hacer. Es difícil porque cada imagen individual sería analizada por una persona en un árbol de análisis único, por lo que nos gustaría que una red neuronal hiciera lo mismo, dice Frosst. Es difícil lograr que algo con una arquitectura estática, una red neuronal, adopte una nueva estructura, un árbol de análisis, para cada nueva imagen que ve. Hinton ha hecho varios intentos. GLOM es una revisión importante de su intento anterior en 2017, combinado con otros avances relacionados en el campo.

¡Soy parte de una nariz!

vector GLOMO

MS TECNOLOGÍA | EVIATAR BACH VÍA WIKIMEDIA

Una forma generalizada de pensar sobre la arquitectura GLOM es la siguiente: la imagen de interés (por ejemplo, una fotografía del rostro de Hinton) se divide en una cuadrícula. Cada región de la cuadrícula es una ubicación en la imagen: una ubicación puede contener el iris de un ojo, mientras que otra puede contener la punta de su nariz. Para cada ubicación en la red hay unas cinco capas o niveles. Y nivel a nivel, el sistema hace una predicción, con un vector que representa el contenido o la información. En un nivel cercano al fondo, el vector que representa la ubicación de la punta de la nariz podría predecir: ¡Soy parte de una nariz! Y en el siguiente nivel, al construir una representación más coherente de lo que está viendo, el vector podría predecir: ¡Soy parte de una cara vista desde un ángulo lateral!

Pero entonces la pregunta es, ¿coinciden los vectores vecinos al mismo nivel? Cuando están de acuerdo, los vectores apuntan en la misma dirección, hacia la misma conclusión: Sí, ambos pertenecemos a la misma nariz. O más arriba en el árbol de análisis. Sí, los dos pertenecemos a la misma cara.

Buscando consenso sobre la naturaleza de un objeto, sobre qué es precisamente el objeto, en última instancia, los vectores de GLOM de forma iterativa, ubicación por ubicación y capa sobre capa, promedian con los vectores vecinos al lado, así como los vectores predichos de los niveles superiores e inferiores. .

Sin embargo, la red no tiene un promedio de cualquier cosa que esté cerca, dice Hinton. Promedia selectivamente, con predicciones vecinas que muestran similitudes. Esto es bastante conocido en Estados Unidos, se llama cámara de eco, dice. Lo que haces es que solo aceptas opiniones de personas que ya están de acuerdo contigo; y luego lo que sucede es que obtienes una cámara de eco donde un montón de gente tiene exactamente la misma opinión. GLOM en realidad usa eso de una manera constructiva. El fenómeno análogo en el sistema de Hinton son esas islas de acuerdo.

Geoff es un pensador muy inusual...'

sue becker

Imagine un grupo de personas en una habitación, gritando ligeras variaciones de la misma idea, dice Frost, o imagine a esas personas como vectores que apuntan en ligeras variaciones de la misma dirección. Después de un tiempo, convergerían en una idea, y todos la sentirían más fuerte, porque las otras personas a su alrededor la habían confirmado. Así es como los vectores de GLOM refuerzan y amplifican sus predicciones colectivas sobre una imagen.

GLOM usa estas islas de vectores coincidentes para lograr el truco de representar un árbol de análisis en una red neuronal. Mientras que algunas redes neuronales recientes utilizan la concordancia entre vectores para activación , GLOM utiliza el acuerdo para representación —construir representaciones de cosas dentro de la red. Por ejemplo, cuando varios vectores coinciden en que todos representan parte de la nariz, su pequeño grupo de acuerdo representa colectivamente la nariz en el árbol de análisis de la red para la cara. Otro grupo más bien pequeño de vectores concordantes podría representar la boca en el árbol de análisis; y el gran grupo en la parte superior del árbol representaría la conclusión emergente de que la imagen en su conjunto es el rostro de Hinton. La forma en que se representa aquí el árbol de análisis, explica Hinton, es que a nivel de objeto tienes una gran isla; las partes del objeto son islas más pequeñas; las subpartes son islas aún más pequeñas, y así sucesivamente.

Figura 2 del artículo GLOM de Hinton. Las islas de vectores idénticos (flechas del mismo color) en los distintos niveles representan un árbol de análisis.

GEOFFREY HITON

Según el antiguo amigo y colaborador de Hinton, Yoshua Bengio, científico informático de la Universidad de Montreal, si GLOM logra resolver el desafío de ingeniería de representar un árbol de análisis en una red neuronal, sería una hazaña, sería importante para hacer que las redes neuronales funcionen correctamente. Geoff ha producido intuiciones asombrosamente poderosas muchas veces en su carrera, muchas de las cuales han demostrado ser correctas, dice Bengio. Por lo tanto, les presto atención, especialmente cuando él siente tanto por ellos como por GLOM.

La fuerza de la convicción de Hinton se basa no solo en la analogía de la cámara de eco, sino también en las analogías matemáticas y biológicas que inspiraron y justificaron algunas de las decisiones de diseño en la ingeniería novedosa de GLOM.

Geoff es un pensador muy inusual en el sentido de que puede basarse en conceptos matemáticos complejos e integrarlos con restricciones biológicas para desarrollar teorías, dice Sue Becker, ex alumna de Hinton, ahora neurocientífica cognitiva computacional en la Universidad McMaster. Los investigadores que se centran más estrechamente en la teoría matemática o la neurobiología tienen muchas menos probabilidades de resolver el rompecabezas infinitamente convincente de cómo las máquinas y los humanos pueden aprender y pensar.

Convirtiendo la filosofía en ingeniería

Hasta ahora, la nueva idea de Hinton ha sido bien recibida, especialmente en algunas de las mejores cámaras de eco del mundo. En Twitter, obtuve muchos 'me gusta', dice. y un YouTube tutorial reclamó el término MeGLOMania.

Hinton es el primero en admitir que en la actualidad GLOM es poco más que una reflexión filosófica (pasó un año como estudiante de filosofía antes de cambiarse a la psicología experimental). Si una idea suena bien en filosofía, es buena, dice. ¿Cómo podrías tener una idea filosófica que suena como una tontería, pero que en realidad resulta ser verdad? Eso no pasaría como una idea filosófica. La ciencia, en comparación, está llena de cosas que suenan como una completa tontería pero que resultan funcionar notablemente bien, por ejemplo, las redes neuronales, dice.

GLOM está diseñado para sonar filosóficamente plausible. ¿Pero funcionará?

Chris Williams, profesor de aprendizaje automático en la Escuela de Informática de la Universidad de Edimburgo, espera que GLOM pueda generar grandes innovaciones. Sin embargo, dice, lo que distingue a la IA de la filosofía es que podemos usar computadoras para probar tales teorías. Es posible que una falla en la idea pueda ser expuesta, tal vez también reparada, por tales experimentos, dice. Por el momento, no creo que tengamos suficiente evidencia para evaluar el significado real de la idea, aunque creo que es muy prometedora.

Las entradas del modelo de prueba GLOM son diez elipses que forman una oveja o una cara.

LAURA CULP

Algunos de los colegas de Hinton en Google Research en Toronto se encuentran en las primeras etapas de la investigación experimental de GLOM. Laura Culp, una ingeniera de software que implementa arquitecturas de redes neuronales novedosas, está usando una simulación por computadora para probar si GLOM puede producir las islas de acuerdo de Hinton en la comprensión de partes y totalidades de un objeto, incluso cuando las partes de entrada son ambiguas. En los experimentos, las partes son 10 elipses, óvalos de diferentes tamaños, que se pueden organizar para formar una cara o una oveja.

Con entradas aleatorias de una elipse u otra, el modelo debería poder hacer predicciones, dice Culp, y lidiar con la incertidumbre de si la elipse es o no parte de una cara o una oveja, y si es la pata de una oveja. , o la cabeza de una oveja. Enfrentado a cualquier perturbación, el modelo también debería poder corregirse a sí mismo. El siguiente paso es establecer una línea de base, que indique si una red neuronal de aprendizaje profundo estándar se confundiría con tal tarea. Hasta el momento, GLOM está altamente supervisado: Culp crea y etiqueta los datos, incitando y presionando al modelo para encontrar predicciones correctas y tener éxito con el tiempo. (La versión sin supervisión se llama GLUM. Es una broma, dice Hinton).

En este estado preliminar, es demasiado pronto para sacar grandes conclusiones. Culp está esperando más números. Sin embargo, Hinton ya está impresionado. Una versión simple de GLOM puede mirar 10 elipses y ver una cara y una oveja según las relaciones espaciales entre las elipses, dice. Esto es complicado, porque una elipse individual no transmite nada sobre a qué tipo de objeto pertenece o qué parte de ese objeto es.

Y, en general, Hinton está contento con los comentarios. Solo quería publicarlo para la comunidad, para que cualquiera que quiera pueda probarlo, dice. O pruebe alguna subcombinación de estas ideas. Y entonces eso convertirá la filosofía en ciencia.

esconder