El pionero de la IA Geoff Hinton: el aprendizaje profundo podrá hacerlo todo

Noah Berger/AP

• Sobre las brechas en el campo de la IA: 'Tendrá que haber bastantes avances conceptuales... también necesitamos un aumento masivo en la escala'.
• Sobre las debilidades de las redes neuronales: 'Las redes neuronales son sorprendentemente buenas para manejar una cantidad bastante pequeña de datos, con una gran cantidad de parámetros, pero las personas son aún mejores'.
• Sobre cómo funcionan nuestros cerebros: 'Lo que hay dentro del cerebro son estos grandes vectores de actividad neuronal'.

La revolución moderna de la IA comenzó durante un oscuro concurso de investigación. Era 2012, el tercer año de la competencia anual ImageNet, que desafió a los equipos a construir sistemas de visión por computadora que reconocerían 1,000 objetos, desde animales hasta paisajes y personas.

En los primeros dos años, los mejores equipos no lograron alcanzar ni siquiera el 75% de precisión. Pero en el tercero, un grupo de tres investigadores, un profesor y sus alumnos, de repente superó este techo. Ganaron la competencia por la asombrosa diferencia de 10,8 puntos porcentuales. Ese profesor era Geoffrey Hinton, y la técnica que usaron se llamó aprendizaje profundo.

En realidad, Hinton había estado trabajando con el aprendizaje profundo desde la década de 1980, pero su eficacia se había visto limitada por la falta de datos y poder computacional. Su firme creencia en la técnica finalmente pagó dividendos masivos. El cuarto año de la competencia ImageNet, casi todos los equipos estaban usando el aprendizaje profundo y logrando ganancias de precisión milagrosas. Muy pronto, el aprendizaje profundo se aplicó a tareas más allá del reconocimiento de imágenes, y también dentro de una amplia gama de industrias.

El año pasado, por sus contribuciones fundamentales al campo, Hinton recibió el Premio Turing, junto con otros pioneros de la IA, Yann LeCun y Yoshua Bengio. El 20 de octubre, hablé con él en la conferencia anual EmTech MIT de MIT Technology Review sobre el estado del campo y hacia dónde cree que debería dirigirse a continuación.

Lo siguiente ha sido editado y condensado para mayor claridad.

Crees que el aprendizaje profundo será suficiente para replicar toda la inteligencia humana. Qué te hace estar tan seguro?

Creo que el aprendizaje profundo podrá hacer todo, pero creo que tendrá que haber bastantes avances conceptuales. Por ejemplo, en 2017 Ashish Vaswani y otros . introducido transformadores , que derivan vectores realmente buenos que representan significados de palabras. Fue un avance conceptual. Ahora se usa en casi todos los mejores procesamientos de lenguaje natural. Vamos a necesitar un montón más de avances como ese.

Y si tenemos esos avances, ¿seremos capaces de aproximar toda la inteligencia humana a través del aprendizaje profundo?

Si. Particularmente avances que tienen que ver con cómo obtienes grandes vectores de actividad neuronal para implementar cosas como la razón. Pero también necesitamos un aumento masivo en la escala. El cerebro humano tiene alrededor de 100 billones de parámetros o sinapsis. Lo que ahora llamamos un modelo realmente grande, como GPT-3 , tiene 175 mil millones. Es mil veces más pequeño que el cerebro. GPT-3 ahora puede generar texto de aspecto bastante plausible, y aún es pequeño en comparación con el cerebro.

Cuando dice escala, ¿se refiere a redes neuronales más grandes, más datos o ambos?

Ambos. Hay una especie de discrepancia entre lo que sucede en informática y lo que sucede con las personas. Las personas tienen una gran cantidad de parámetros en comparación con la cantidad de datos que obtienen. Las redes neuronales son sorprendentemente buenas para manejar una cantidad bastante pequeña de datos, con una gran cantidad de parámetros, pero las personas son aún mejores.

Mucha gente en el campo cree que el sentido común es la próxima gran capacidad a abordar. ¿Estás de acuerdo?

Estoy de acuerdo en que esa es una de las cosas más importantes. También creo que el control motor es muy importante, y las redes neuronales profundas ahora se están volviendo buenas en eso. En particular, un trabajo reciente en Google ha demostrado que puede controlar la motricidad fina y combinarlo con el lenguaje, de modo que puede abrir un cajón y sacar un bloque, y el sistema puede decirle en lenguaje natural lo que está haciendo.

Para cosas como GPT-3, que genera este maravilloso texto, está claro que debe entender mucho para generar ese texto, pero no está muy claro cuánto entiende. Pero si algo abre el cajón y saca un bloque y dice, acabo de abrir un cajón y saqué un bloque, es difícil decir que no entiende lo que está haciendo.

El campo de la IA siempre ha considerado al cerebro humano como su mayor fuente de inspiración, y diferentes enfoques de la IA han surgido de diferentes teorías en la ciencia cognitiva. ¿Crees que el cerebro en realidad construye representaciones del mundo externo para comprenderlo, o es solo una forma útil de pensar al respecto?

Hace mucho tiempo, en la ciencia cognitiva, hubo un debate entre dos escuelas de pensamiento. Uno fue dirigido por Stephen Kosslyn, y creía que cuando manipulas imágenes visuales en tu mente, lo que tienes es una serie de píxeles y los estás moviendo. La otra escuela de pensamiento estaba más en línea con la IA convencional. Decía: No, no, eso es una tontería. Son descripciones jerárquicas y estructurales. Tienes una estructura simbólica en tu mente, y ese es lo que estás manipulando.

Creo que ambos estaban cometiendo el mismo error. Kosslyn pensó que manipulábamos píxeles porque las imágenes externas están hechas de píxeles, y esa es una representación que entendemos. La gente de símbolos pensó que manipulamos símbolos porque también representamos cosas en símbolos, y ese es una representación que entendemos. Creo que eso es igualmente incorrecto. Lo que hay dentro del cerebro son estos grandes vectores de actividad neuronal.

Hay algunas personas que todavía creen que la representación simbólica es uno de los enfoques de la IA.

Absolutamente. Tengo buenos amigos como Héctor Levesque, quien realmente cree en el enfoque simbólico y ha hecho un gran trabajo en eso. No estoy de acuerdo con él, pero el enfoque simbólico es algo perfectamente razonable para probar. Pero supongo que al final, nos daremos cuenta de que los símbolos simplemente existen en el mundo externo, y hacemos operaciones internas en vectores grandes.

¿Cuál cree que es su visión más contraria sobre el futuro de la IA?

Bueno, mi problema es que tengo estos puntos de vista contrarios y luego, cinco años después, son la corriente principal. La mayoría de mis puntos de vista contrarios de la década de 1980 ahora son ampliamente aceptados. Ahora es bastante difícil encontrar personas que no estén de acuerdo con ellos. Así que sí, he sido algo socavado en mis puntos de vista contrarios.

esconder