El aprendizaje profundo podría revelar por qué el mundo funciona como lo hace

Una imagen de fichas de dominó cayendo Getty

Esta semana, la comunidad de investigación de IA se ha reunido en Nueva Orleans para el Conferencia Internacional sobre Representaciones de Aprendizaje (ICLR, pronunciado eye-clear), una de sus principales conferencias anuales. Hay más de 3000 asistentes y 1500 presentaciones de artículos, lo que lo convierte en uno de los foros más importantes para el intercambio de nuevas ideas dentro del campo.

Este año, las charlas y los artículos aceptados se centran en gran medida en abordar cuatro desafíos principales en el aprendizaje profundo: equidad, seguridad, generalización y causalidad. Si ha estado siguiendo la cobertura de MIT Technology Review, reconocerá los tres primeros. Hemos hablado sobre cómo los algoritmos de aprendizaje automático en su estado actual están sesgados, son susceptibles a los ataques de los adversarios y tienen una capacidad increíblemente limitada para generalizar los patrones que encuentran en un conjunto de datos de entrenamiento para múltiples aplicaciones. Ahora la comunidad de investigación está ocupada tratando de hacer que la tecnología sea lo suficientemente sofisticada para mitigar estas debilidades.

De lo que no hemos hablado mucho es del desafío final: la causalidad. Esto es algo que los investigadores han desconcertado durante algún tiempo. El aprendizaje automático es excelente para encontrar correlaciones en los datos, pero ¿alguna vez podrá averiguar causalidad ? Tal logro sería un gran hito: si los algoritmos pudieran ayudarnos a arrojar luz sobre las causas y los efectos de diferentes fenómenos en sistemas complejos, profundizarían nuestra comprensión del mundo y desbloquearían herramientas más poderosas para influir en él.

El lunes, en una sala repleta, el aclamado investigador Léon Bottou, ahora en la unidad de investigación de IA de Facebook y la Universidad de Nueva York, presentó un nuevo marco en el que ha estado trabajando con colaboradores sobre cómo podríamos llegar allí. Aquí está mi resumen de su charla. También puede verlo completo a continuación, comenzando alrededor de las 12:00.

Idea #1

Imágenes de muestra del conjunto de datos MNIST. Wikipedia

Comencemos con la primera gran idea de Bottou y su equipo: una nueva forma de pensar sobre la causalidad. Digamos que desea construir un sistema de visión por computadora que reconozca números escritos a mano. (Esto es un problema introductorio clásico que usa el conjunto de datos MNIST ampliamente disponible que se muestra arriba). Entrenaría una red neuronal con toneladas de imágenes de números escritos a mano, cada uno etiquetado con el número que representa, y terminaría con un sistema bastante decente para reconocer los nuevos que nunca antes había tenido. visto antes.

Pero supongamos que su conjunto de datos de entrenamiento está ligeramente modificado y cada uno de los números escritos a mano también tiene un color, rojo o verde, asociado. Suspenda su incredulidad por un momento e imagine que no sabe si el color o la forma de las marcas es un mejor predictor del dígito. La práctica estándar hoy en día es simplemente etiquetar cada dato de entrenamiento con ambas características e introducirlos en la red neuronal para que decida.

Muestras de un conjunto de datos MNIST coloreado. León Bottou

Aquí es donde las cosas se ponen interesantes. El conjunto de datos coloreados del MNIST es deliberadamente engañoso. Volviendo al mundo real, sabemos que el color de las marcas es completamente irrelevante, pero en este conjunto de datos en particular, el color es, de hecho, un predictor más fuerte para el dígito que su forma. Entonces, nuestra red neuronal aprende a usar el color como predictor principal. Eso está bien cuando luego usamos la red para reconocer otros números escritos a mano que siguen los mismos patrones de color. Pero el rendimiento se desmorona por completo cuando invertimos los colores de los números. (Cuando Bottou y sus colaboradores realizaron este experimento mental con datos de entrenamiento reales y una red neuronal real, lograron una precisión de reconocimiento del 84,3 % en el primer escenario y una precisión del 10 % en el segundo).

En otras palabras, la red neuronal encontró lo que Bottou llama una correlación espuria, lo que la hace completamente inútil fuera del estrecho contexto dentro del cual fue entrenada. En teoría, si pudiera deshacerse de todas las correlaciones espurias en un modelo de aprendizaje automático, se quedaría solo con las invariantes, aquellas que son verdaderas independientemente del contexto.

La invariancia, a su vez, te permitiría comprender la causalidad, explica Bottou. Si conoce las propiedades invariantes de un sistema y conoce la intervención realizada en un sistema, debería poder inferir la consecuencia de esa intervención. Por ejemplo, si sabe que la forma de un dígito escrito a mano siempre dicta su significado, entonces puede inferir que cambiar su forma (causa) cambiaría su significado (efecto). Otro ejemplo: si sabes que todos los objetos están sujetos a la ley de la gravedad, entonces puedes inferir que cuando sueltas una pelota (causa), esta caerá al suelo (efecto).

Obviamente, estos son ejemplos simples de causa y efecto basados ​​en propiedades invariantes que ya conocemos, pero piense cómo podríamos aplicar esta idea a sistemas mucho más complejos que aún no entendemos. ¿Qué pasaría si pudiéramos encontrar las propiedades invariantes de nuestros sistemas económicos, por ejemplo, para poder entender los efectos de implementar la renta básica universal? ¿O las propiedades invariantes del sistema climático de la Tierra, para que podamos evaluar el impacto de varias tácticas de geoingeniería?

Idea #2

Entonces, ¿cómo nos deshacemos de estas correlaciones espurias? Esta es la segunda gran idea del equipo de Bottou. En la práctica actual de aprendizaje automático, la intuición predeterminada es acumular datos tan diversos y representativos como sea posible en un solo conjunto de entrenamiento. Pero Bottou dice que este enfoque hace un flaco favor. Los diferentes datos que provienen de diferentes contextos, ya sea recopilados en diferentes momentos, en diferentes lugares o bajo diferentes condiciones experimentales, deben conservarse como conjuntos separados en lugar de mezclarlos y combinarlos. Cuando se consolidan, como ocurre ahora, se pierde información contextual importante, lo que genera una probabilidad mucho mayor de correlaciones espurias.

Con múltiples conjuntos de datos específicos del contexto, entrenar una red neuronal es muy diferente. La red ya no puede encontrar las correlaciones que solo son válidas en un solo conjunto de datos de entrenamiento diverso; debe encontrar las correlaciones que son invariantes en todos los diversos conjuntos de datos. Y si esos conjuntos se seleccionan inteligentemente de un espectro completo de contextos, las correlaciones finales también deberían coincidir estrechamente con las propiedades invariantes de la verdad fundamental.

Así que volvamos a nuestro ejemplo simple de MNIST en color una vez más. Basándose en su teoría para encontrar propiedades invariantes, Bottou y sus colaboradores volvieron a realizar su experimento original. Esta vez utilizaron dos conjuntos de datos MNIST de colores, cada uno con diferentes patrones de color. Luego entrenaron su red neuronal para encontrar las correlaciones que se mantuvieron en ambos grupos. Cuando probaron este modelo mejorado en números nuevos con los mismos patrones de color invertidos, logró una precisión de reconocimiento del 70 % para ambos. Los resultados demostraron que la red neuronal había aprendido a ignorar el color y centrarse únicamente en las formas de las marcas.

Bottou dice que el trabajo de su equipo sobre estas ideas no ha terminado y que la comunidad de investigadores tardará algún tiempo en probar las técnicas en problemas más complicados que los números de colores. Pero el marco sugiere el potencial del aprendizaje profundo para ayudarnos a comprender por qué suceden las cosas y, por lo tanto, nos da más control sobre nuestro destino.

esconder