Un debate entre expertos en IA muestra una batalla por el futuro de la tecnología

Gary Marcus y Danny Lange Marcus: R. Farrell/UIT; Lange: Cody Glenn/Cumbre Web

Desde la década de 1950, la inteligencia artificial repetidamente ha prometido demasiado y no ha cumplido. Si bien en los últimos años se han producido avances increíbles gracias al aprendizaje profundo, la IA actual sigue siendo limitada: es frágil frente a los ataques, no puede generalizar para adaptarse a entornos cambiantes y está plagada de prejuicios. Todos estos desafíos hacen que sea difícil confiar en la tecnología y limitan su potencial para beneficiar a la sociedad.

El 26 de marzo, en el evento anual EmTech Digital de MIT Technology Review, dos figuras destacadas de la IA subieron al escenario virtual para debatir cómo el campo podría superar estos problemas.

Gary Marcus, profesor emérito de la NYU y fundador y director ejecutivo de Robust.AI, es un conocido crítico del aprendizaje profundo. en su libro Reinicio de la IA , publicado el año pasado, argumentó que las deficiencias de la IA son inherentes a la técnica. Por lo tanto, los investigadores deben mirar más allá del aprendizaje profundo, argumenta, y combinarlo con sistemas de IA clásicos o simbólicos que codifican el conocimiento y son capaces de razonar.

Danny Lange, vicepresidente de IA y aprendizaje automático de Unity, se sienta de lleno en el campo del aprendizaje profundo. Construyó su carrera sobre la promesa y el potencial de la técnica, ya que se desempeñó como jefe de aprendizaje automático en Uber, gerente general de Amazon Machine Learning y líder de producto en Microsoft centrado en el aprendizaje automático a gran escala. En Unity, ahora ayuda a laboratorios como DeepMind y OpenAI a construir entornos de capacitación virtual que les enseñan a sus algoritmos un sentido del mundo.

Durante el evento, cada orador hizo una breve presentación y luego se sentó para un panel de discusión. Los desacuerdos que expresaron reflejan muchos de los enfrentamientos dentro del campo, destacando cuán poderosamente la tecnología ha sido moldeada por una batalla persistente de ideas y cuán poca certeza hay sobre hacia dónde se dirige a continuación.

A continuación, su panel de discusión ha sido condensado y ligeramente editado para mayor claridad.

Gary, recurres a tu experiencia en neurociencia y psicología para descubrir qué falta actualmente en la IA. ¿Qué tiene la IA clásica que cree que la convierte en el sistema adecuado para combinar con el aprendizaje profundo?

Gary Marcus: Lo primero que diré es que es posible que necesitemos híbridos que sean más complicados que solo el aprendizaje profundo más la IA clásica. necesitamos en menos ese. Pero puede haber un montón de cosas con las que ni siquiera hemos soñado todavía. Tenemos que ser de mente abierta.

¿Por qué agregar IA clásica a la mezcla? Bueno, hacemos todo tipo de razonamientos basados ​​en nuestro conocimiento del mundo. El aprendizaje profundo simplemente no representa eso. No hay forma en estos sistemas de representar lo que es una pelota o lo que es una botella y lo que estas cosas se hacen entre sí. Entonces, los resultados se ven geniales, pero por lo general no son muy generalizables.

IA clásica: esa es su timonera. Puede, por ejemplo, analizar una oración en su representación semántica, o tener conocimiento sobre lo que sucede en el mundo y luego hacer inferencias al respecto. Tiene sus propios problemas: por lo general no tiene suficiente cobertura, porque demasiado está escrito a mano, etc. Pero al menos en principio, es la única forma que conocemos de crear sistemas que puedan hacer cosas como la inferencia lógica y la inferencia inductiva sobre el conocimiento abstracto. Todavía no significa que sea absolutamente correcto, pero es, con mucho, lo mejor que tenemos.

Y luego hay mucha evidencia psicológica de que las personas pueden hacer algún nivel de representación simbólica. En mi vida anterior como especialista en desarrollo cognitivo, hice experimentos con bebés de siete meses y mostré que esos bebés podían generalizar el conocimiento simbólico. Entonces, si un bebé de siete meses puede hacerlo, ¿por qué nos tomamos las manos a la espalda tratando de construir IA sin los mecanismos que tienen los bebés?

¿Ha visto algún proyecto en el que hayan combinado con éxito el aprendizaje profundo y la IA simbólica de manera prometedora?

GM: En un artículo que escribí llamado La próxima década en IA , enumeré alrededor de 20 proyectos recientes diferentes que intentan armar modelos híbridos que tienen algo de aprendizaje profundo y algo de conocimiento simbólico. Un ejemplo que todo el mundo conoce es la búsqueda de Google. Cuando escribe una consulta de búsqueda, hay una IA clásica que está tratando de eliminar la ambigüedad de las palabras. Está tratando de averiguar cuando hablas de París, estás hablando de Paris Hilton, París, Texas o París, Francia, utilizando el gráfico de conocimiento de Google. Y luego usa el aprendizaje profundo para hacer otras cosas, por ejemplo, para encontrar sinónimos usando el modelo BERT . Por supuesto, la búsqueda de Google no es la IA que finalmente esperamos lograr, pero es una prueba bastante sólida de que este no es un sueño imposible.

Danny, ¿estás de acuerdo en que deberíamos mirar estos modelos híbridos?

Danny Lange: No, no estoy de acuerdo. El problema que tengo con la IA simbólica es su intento de tratar de imitar el cerebro humano en un sentido muy profundo. Me recuerda un poco, ya sabes, en el siglo XVIII, si querías un transporte más rápido, trabajarías en la construcción de un caballo mecánico en lugar de inventar el motor de combustión. Así que soy muy escéptico de tratar de resolver la IA tratando de imitar el cerebro humano.

El aprendizaje profundo no es necesariamente una bala de plata, pero si le proporciona suficientes datos y tiene la arquitectura de red neuronal adecuada, puede aprender abstracciones que nosotros, como humanos, no podemos interpretar, pero eso hace que el sistema sea muy eficiente para resolver una amplia gama. de tareas

Parece que fundamentalmente ambos tienen un desacuerdo sobre cuál es el objetivo de la IA.

GM: Creo que hay una ironía. Cuando tuve un debate con Yoshua Bengio en diciembre, Bengio dijo que el único compromiso del aprendizaje profundo era que tuviera una base neurológica. Así que he escuchado los dos extremos opuestos del aprendizaje profundo. Eso es un poco extraño, y no creo que debamos tomar esos argumentos en serio.

En su lugar, deberíamos decir: ¿Pueden ayudarnos los símbolos? Y la respuesta es, abrumadoramente, sí. Casi todo el software del mundo se basa en símbolos. Y luego tienes que decir, empíricamente, ¿las cosas de aprendizaje profundo hacen lo que queremos que hagan? Y el problema hasta ahora es que ha estado libre de modelos. Vicarious [una startup de robótica industrial impulsada por IA] tenía una gran demostración de un sistema de aprendizaje de juegos Atari que DeepMind hizo muy popular, donde aprendió a jugar Breakout a un nivel sobrehumano. Pero luego Vicarious movió la paleta unos pocos píxeles y todo se vino abajo, porque el nivel de aprendizaje era demasiado bajo. No tenía el concepto de una paleta, una pelota, un juego de ladrillos. Un algoritmo simbólico para Breakout podría compensar fácilmente esas cosas.

La razón para mirar a los humanos es porque hay ciertas cosas que los humanos hacen mucho mejor que los sistemas de aprendizaje profundo. Eso no significa que los humanos finalmente serán el modelo correcto. Queremos sistemas que tengan algunas propiedades de las computadoras y algunas propiedades que hayan sido tomadas de la gente. No queremos que nuestros sistemas de IA tengan mala memoria solo porque la gente la tenga. Pero dado que las personas son el único modelo de un sistema que puede desarrollar una comprensión profunda de algo, literalmente, el único modelo que tenemos, debemos tomar ese modelo en serio.

DL: Sí, entonces el ejemplo de que los lenguajes de programación del mundo tienen una base simbólica, eso es cierto porque están diseñados para que los humanos implementen sus ideas y pensamientos.

El aprendizaje profundo no es una réplica del cerebro humano. Tal vez puedas decir que está inspirado en el mundo neuronal, pero es una pieza de software. Todavía no hemos profundizado mucho en el aprendizaje profundo. Hemos tenido una cantidad limitada de datos de entrenamiento hasta ahora. Hemos tenido estructuras limitadas con un poder de cómputo limitado. Pero el punto clave es que el aprendizaje profundo aprende el concepto, aprende las características. No es algo diseñado por humanos. Creo que la gran diferencia entre el enfoque de Gary y el mío es si los ingenieros humanos dan inteligencia al sistema o si el sistema aprende inteligencia por sí mismo.

Danny, mencionaste que realmente no hemos visto el potencial del aprendizaje profundo en su totalidad debido a las limitaciones en los datos y la computación. ¿No deberíamos estar desarrollando nuevas técnicas, dado que el aprendizaje profundo es tan ineficiente? Tuvimos que aumentar drásticamente la computación para desbloquear nuevas habilidades de aprendizaje profundo.

DL: Uno de los problemas con el aprendizaje profundo es que hasta ahora se ha basado realmente en una especie de enfoque clásico: genera un gran conjunto de datos de entrenamiento y luego lo introduce. Una cosa que realmente podría mejorar el aprendizaje profundo es tener un proceso de aprendizaje donde la red está siendo entrenada para optimizar los datos de entrenamiento. No tiene que introducir una cantidad abrumadora de datos para mejorar el proceso de aprendizaje. Puedes adaptar constantemente tus datos de entrenamiento para apuntar a un área específica.

Gary, señalas las vulnerabilidades del aprendizaje profundo para parcialidad y para ataques adversarios . Danny, mencionaste que los datos sintéticos son una solución a esto porque no hay sesgo y puedes ejecutar millones de simulaciones que presumiblemente eliminan las vulnerabilidades de los adversarios. ¿Cuáles son cada una de sus respuestas a eso?

GM: Los datos por sí solos no son una solución todavía. Los datos sintéticos no ayudarán con cosas como los sesgos en los préstamos o los sesgos en las entrevistas de trabajo. El verdadero problema es que estos sistemas tienden a perpetuar sesgos que estaban ahí por razones históricas. No es obvio que los datos sintéticos sean la solución, en lugar de construir sistemas que sean lo suficientemente sofisticados para comprender los sesgos culturales que estamos tratando de reemplazar.

Los ataques adversarios son un tipo diferente de cosas. Los datos pueden ayudar con algunos de ellos, pero hasta ahora no hemos eliminado realmente los diferentes tipos de ataques de adversarios. Te mostré la pelota de béisbol con espuma que se describe como espresso. Si alguien piensa de antemano en hacer pelotas de béisbol con espresso en simulación y etiquetarlas con cuidado, está bien. Siempre va a haber algunos casos en los que nadie ha pensado. Un sistema basado puramente en datos seguirá siendo vulnerable.

DL: Los datos del mundo real están muy sesgados, sin importar lo que hagas. Recopila datos en un entorno determinado, por ejemplo, para vehículos autónomos, y tiene una representación de quizás el 90% de adultos y el 10% de niños en las calles. Esa es la distribución normal. Pero un sistema de aprendizaje automático necesita entrenarse en cantidades iguales de adultos y niños para evitar golpear a cualquiera de ellos de manera segura. Entonces, con los datos sintéticos, básicamente puede equilibrar y evitar el sesgo si tiene cuidado. Eso no significa que no puedas crear nuevos sesgos. Tienes que tener cuidado con eso. Ciertamente, resuelve los problemas de privacidad, porque no hay humanos reales o niños reales en ninguno de sus datos de entrenamiento.

En cuanto a los ejemplos contradictorios, el problema con muchos de ellos es que básicamente se están desarrollando contra modelos débiles de visión por computadora, modelos que han sido entrenados en 10 o 20 millones de imágenes, digamos, de ImageNet. Eso está lejos de ser suficientes datos para generalizar un modelo. Necesitamos grandes cantidades de conjuntos de datos con cantidades increíbles de aleatorización de dominio para generalizar estos modelos de visión artificial para que no se dejen engañar.

¿Qué es lo que más le entusiasma del futuro de la IA?

GM: Ha habido un movimiento real hacia los modelos híbridos en el último año. La gente está explorando cosas nuevas que no habían hecho antes, y eso es emocionante.

DL: Creo que en realidad son sistemas de modelos múltiples, sistemas que se han compuesto de muchos modelos diferentes para la percepción y el comportamiento juntos para resolver tareas realmente complejas.

esconder