Un nuevo y radical diseño de red neuronal podría superar grandes desafíos en IA

David Duvenaud et al.

David Duvenaud estaba colaborando en un proyecto relacionado con datos médicos cuando se topó con una gran deficiencia en la IA.

Investigador de inteligencia artificial en la Universidad de Toronto, quería construir un modelo de aprendizaje profundo que pudiera predecir la salud de un paciente a lo largo del tiempo. Pero los datos de los registros médicos son un poco confusos: a lo largo de su vida, puede visitar al médico en diferentes momentos por diferentes motivos, lo que genera un puñado de mediciones en intervalos arbitrarios. Una red neuronal tradicional se esfuerza por manejar esto. Su diseño requiere que aprenda de los datos con etapas claras de observación. Por lo tanto, es una herramienta deficiente para modelar procesos continuos, especialmente aquellos que se miden de manera irregular a lo largo del tiempo.

El desafío llevó a Duvenaud y sus colaboradores de la universidad y del Vector Institute a rediseñar las redes neuronales tal como las conocemos. la semana pasada su papel estuvo entre otros cuatro coronados como el mejor artículo en la conferencia Neural Information Processing Systems, una de las reuniones de investigación de IA más grandes del mundo.

Las redes neuronales son la maquinaria central que hace que el aprendizaje profundo sea tan poderoso. Una red neuronal tradicional se compone de capas apiladas de nodos computacionales simples que trabajan juntos para encontrar patrones en los datos. Las capas discretas son las que evitan que modele efectivamente los procesos continuos (ya llegaremos a eso).

En respuesta, el diseño del equipo de investigación desecha las capas por completo. (Duvenaud se apresura a señalar que a ellos no se les ocurrió esta idea. Solo fueron los primeros en implementarla de una manera generalizable). Para comprender cómo es esto posible, analicemos lo que hacen las capas en primer lugar.

Cómo una red neuronal tradicional transforma la imagen de un león en el nombre 'león'. Jeff Clune/Captura de pantalla

El proceso más común para entrenar una red neuronal (también conocido como aprendizaje supervisado) implica alimentarla con un montón de datos etiquetados. Supongamos que desea construir un sistema que reconozca diferentes animales. Alimentarías una red neuronal con imágenes de animales emparejadas con los nombres de animales correspondientes. Debajo del capó, comienza a resolver un loco rompecabezas matemático. Examina todos los pares de imagen y nombre y descubre una fórmula que convierte de forma fiable una (la imagen) en la otra (la categoría). Una vez que descifra ese rompecabezas, puede reutilizar la fórmula una y otra vez para categorizar correctamente cualquier foto nueva de un animal, la mayoría de las veces.

Pero encontrar una fórmula única para describir toda la transformación de imagen a nombre sería demasiado amplio y daría como resultado un modelo de baja precisión. Sería como tratar de usar una sola regla para diferenciar perros y gatos. Se podría decir que los perros tienen orejas caídas. Pero algunos perros no lo hacen y algunos gatos hacer, por lo que terminaría con una gran cantidad de falsos negativos y positivos.

Aquí es donde entran en juego las capas de una red neuronal. Dividen el proceso de transformación en pasos y permiten que la red encuentre una serie de fórmulas que describen una etapa del proceso. Entonces, la primera capa podría incluir todos los píxeles y usar una fórmula para elegir cuáles son los más relevantes para gatos versus perros. Una segunda capa podría usar otra para construir patrones más grandes a partir de grupos de píxeles y averiguar si la imagen tiene bigotes u orejas. Cada capa subsiguiente identificaría características cada vez más complejas del animal, hasta que la capa final decida el perro sobre la base de los cálculos acumulados. Este desglose paso a paso del proceso permite que una red neuronal construya modelos más sofisticados, lo que a su vez debería conducir a predicciones más precisas.

El enfoque de capas ha servido bien al campo de la IA, pero también tiene un inconveniente. Si desea modelar cualquier cosa que se transforme continuamente con el tiempo, también debe dividirlo en pasos discretos. En la práctica, si volviéramos al ejemplo de la salud, eso significaría agrupar sus registros médicos en períodos finitos como años o meses. Usted podría ver cómo esto sería inexacto. Si fuiste al médico el 11 de enero y nuevamente el 16 de noviembre, los datos de ambas visitas se agruparían bajo el mismo año.

Entonces, la mejor manera de modelar la realidad lo más cerca posible es agregar más capas para aumentar la granularidad. (¿Por qué no dividir sus registros en días o incluso horas? ¡Podría haber ido al médico dos veces en un día!) Llevado al extremo, esto significa que la mejor red neuronal para este trabajo tendría un número infinito de capas para modelar infinitesimales cambios de paso. La pregunta es si esta idea es siquiera práctica.

Si esto empieza a sonar familiar, es porque hemos llegado exactamente al tipo de problema para el que se inventó el cálculo. Calculus le brinda todas estas buenas ecuaciones sobre cómo calcular una serie de cambios en pasos infinitesimales; en otras palabras, lo salva de la pesadilla de modelar cambios continuos en unidades discretas. Esta es la magia del artículo de Duvenaud y sus colaboradores: reemplaza las capas con ecuaciones de cálculo.

El resultado ya no es ni siquiera una red; no hay más nodos ni conexiones, solo una losa continua de computación. No obstante, apegados a la convención, los investigadores llamaron a este diseño una red ODE: ODE para ecuaciones diferenciales ordinarias. (Todavía necesitan trabajar en su marca).

Si te duele el cerebro (créeme, el mío también), aquí hay una buena analogía que Duvenaud usa para unirlo todo. Considere un instrumento musical continuo como un violín, donde puede deslizar su mano a lo largo de la cuerda para tocar cualquier frecuencia que desee; ahora considere uno discreto como un piano, donde tiene un número distinto de teclas para tocar un número limitado de frecuencias. Una red neuronal tradicional es como un piano: por mucho que lo intente, no podrá tocar una diapositiva. Solo podrá aproximar la diapositiva tocando una escala. Incluso si volviera a afinar su piano para que las frecuencias de las notas estuvieran muy juntas, todavía estaría aproximando la diapositiva con una escala. Cambiar a una red ODE es como cambiar su piano a un violín. No siempre es necesariamente la herramienta adecuada, pero es más adecuada para ciertas tareas.

Además de poder modelar el cambio continuo, una red ODE también cambia ciertos aspectos del entrenamiento. Con una red neuronal tradicional, debe especificar la cantidad de capas que desea en su red al comienzo del entrenamiento, luego esperar hasta que finalice el entrenamiento para averiguar qué tan preciso es el modelo. El nuevo método le permite especificar primero la precisión deseada y encontrará la forma más eficiente de entrenarse a sí mismo dentro de ese margen de error. Por otro lado, usted sabe desde el principio cuánto tiempo le tomará a una red neuronal tradicional entrenarse. No tanto cuando se usa una red ODE. Estas son las compensaciones que tendrán que hacer los investigadores, explica Duvenaud, cuando decidan qué técnica utilizar en el futuro.

Actualmente, el papel ofrece una prueba de concepto para el diseño, pero aún no está listo para el horario de máxima audiencia, dice Duvenaud. Como cualquier técnica inicial propuesta en el campo, aún necesita desarrollarse, experimentarse y mejorarse hasta que pueda ponerse en producción. Pero el método tiene el potencial de sacudir el campo, de la misma manera que lo hizo Ian Goodfellow cuando publicó su artículo sobre las GAN.

Muchos de los avances clave en el campo del aprendizaje automático se han producido en el área de las redes neuronales, dice Richard Zemel, director de investigación del Instituto Vector, que no participó en el artículo. Es probable que el documento impulse toda una gama de trabajos de seguimiento, particularmente en modelos de series de tiempo, que son fundamentales en aplicaciones de IA como la atención médica.

Solo recuerda que cuando explotan las redes ODE, lo lees aquí primero.

Correcciones: una versión anterior del artículo subtituló incorrectamente la imagen en la parte superior del artículo como una ecuación diferencial ordinaria. Muestra las trayectorias de ecuaciones diferenciales ordinarias neurales. El artículo también se actualizó para referirse al nuevo diseño como una 'red ODE' en lugar de un 'solucionador de ODE', para evitar confusiones con los solucionadores de ODE existentes de otros campos.

__

Este artículo apareció originalmente en nuestro boletín informativo de IA El algoritmo. Para recibirlo directamente en su bandeja de entrada, suscríbase aquí de forma gratuita.

esconder