Una nueva forma de construir pequeñas redes neuronales podría crear una poderosa IA en su teléfono

SRA. TECNOLOGÍA Sra. tecnología

Las redes neuronales son el software central del aprendizaje profundo. Sin embargo, a pesar de que están tan extendidos, son muy poco entendidos. Los investigadores han observado sus propiedades emergentes sin entender realmente por qué trabajan como lo hacen.

ahora un nuevo papel del MIT ha dado un gran paso para responder a esta pregunta. Y en el proceso, los investigadores han hecho un descubrimiento simple pero espectacular: hemos estado usando redes neuronales mucho más grandes de lo que realmente necesitamos. En algunos casos, son 10, incluso 100, veces más grandes, por lo que entrenarlos nos cuesta mucho más tiempo y potencia computacional de lo necesario.

Dicho de otra manera, dentro de cada red neuronal existe una mucho más pequeña que se puede entrenar para lograr el mismo rendimiento que su matriz de gran tamaño. Esta no es solo una noticia emocionante para los investigadores de IA. El hallazgo tiene el potencial de desbloquear nuevas aplicaciones, algunas de las cuales aún no podemos comprender, que podrían mejorar nuestra vida cotidiana. Más sobre eso más adelante.

Pero primero, profundicemos en cómo funcionan las redes neuronales para comprender por qué esto es posible.

Un diagrama de una red neuronal que aprende a reconocer un león. JEFF CLUNE/CAPTURA DE PANTALLA

Cómo funcionan las redes neuronales

Es posible que haya visto redes neuronales representadas en diagramas como el de arriba: están compuestas de capas apiladas de nodos computacionales simples que están conectados para calcular patrones en los datos.

Las conexiones son lo importante. Antes de entrenar una red neuronal, a estas conexiones se les asignan valores aleatorios entre 0 y 1 que representan su intensidad. (Esto se denomina proceso de inicialización). Durante el entrenamiento, a medida que la red recibe una serie de, por ejemplo, fotos de animales, ajusta y ajusta esas intensidades, algo así como la forma en que su cerebro fortalece o debilita diferentes conexiones neuronales a medida que acumula experiencia. y el conocimiento. Después del entrenamiento, las intensidades de conexión finales se utilizan a perpetuidad para reconocer animales en nuevas fotos.

Si bien la mecánica de las redes neuronales se comprende bien, la razón por la que funcionan de la manera en que lo hacen sigue siendo un misterio. Sin embargo, a través de mucha experimentación, los investigadores han observado dos propiedades de las redes neuronales que han resultado útiles.

Observación #1. Cuando una red se inicializa antes del proceso de entrenamiento, siempre existe la posibilidad de que las intensidades de conexión asignadas aleatoriamente terminen en una configuración imposible de entrenar. En otras palabras, no importa cuántas fotos de animales alimente la red neuronal, no logrará un rendimiento decente y solo tendrá que reiniciarla con una nueva configuración. Cuanto más grande sea la red (cuantas más capas y nodos tenga), menos probable será. Mientras que una pequeña red neuronal se puede entrenar solo en una de cada cinco inicializaciones, una red más grande se puede entrenar en cuatro de cada cinco. De nuevo, por qué que esto sucediera había sido un misterio, pero es por eso que los investigadores suelen usar redes muy grandes para sus tareas de aprendizaje profundo. Quieren aumentar sus posibilidades de lograr un modelo exitoso.

Observación #2. La consecuencia es que una red neuronal generalmente comienza más grande de lo que debe ser. Una vez que finaliza el entrenamiento, normalmente solo una fracción de sus conexiones permanece sólida, mientras que las demás terminan siendo bastante débiles, tan débiles que en realidad puede eliminarlas o podarlas sin afectar el rendimiento de la red.

Durante muchos años, los investigadores han explotado esta segunda observación para reducir sus redes. después capacitación para reducir el tiempo y los costos computacionales involucrados en su ejecución. Pero nadie pensó que fuera posible reducir sus redes antes de capacitación. Se suponía que había que empezar con una red de gran tamaño y el proceso de formación tenía que seguir su curso para separar las conexiones relevantes de las irrelevantes.

Jonathan Frankle, el estudiante de doctorado del MIT que fue coautor del artículo, cuestionó esa suposición. Si necesita muchas menos conexiones que con las que comenzó, dice, ¿por qué no podemos entrenar la red más pequeña sin las conexiones adicionales? Resulta que puedes.

Michael Carbin (izquierda) y Jonathan Frankle (derecha), los autores del artículo. Jason Dorfman, CSAIL del MIT

La hipótesis del billete de lotería

El descubrimiento depende de la realidad de que las intensidades de conexión aleatoria asignadas durante la inicialización no son, de hecho, aleatorias en sus consecuencias: predisponen a diferentes partes de la red a fallar o tener éxito incluso antes de que ocurra el entrenamiento. Dicho de otra manera, la configuración inicial influye en la configuración final a la que llegará la red.

Al centrarse en esta idea, los investigadores descubrieron que si elimina una red de gran tamaño después del entrenamiento, en realidad puede reutilizar la red más pequeña resultante para entrenar con nuevos datos y conservar un alto rendimiento, siempre y cuando restablezca cada conexión dentro de esta red reducida de nuevo a su fuerza inicial.

A partir de este hallazgo, Frankle y su coautor Michael Carbin, profesor asistente en el MIT, proponen lo que llaman la hipótesis del billete de lotería. Cuando inicializa aleatoriamente las intensidades de conexión de una red neuronal, es casi como comprar una bolsa de boletos de lotería. Dentro de su bolsa, espera, hay un boleto ganador, es decir, una configuración inicial que será fácil de entrenar y dará como resultado un modelo exitoso.

Esto también explica por qué la observación #1 es cierta. Comenzar con una red más grande es como comprar más boletos de lotería. No está aumentando la cantidad de poder que está lanzando a su problema de aprendizaje profundo; simplemente está aumentando la probabilidad de tener una configuración ganadora. Una vez que encuentre la configuración ganadora, debería poder reutilizarla una y otra vez, en lugar de continuar jugando la lotería.

Próximos pasos

Esto plantea muchas preguntas. Primero, ¿cómo encuentras el boleto ganador? En su artículo, Frankle y Carbin adoptaron un enfoque de fuerza bruta para entrenar y podar una red de gran tamaño con un conjunto de datos para extraer el boleto ganador para otro conjunto de datos. En teoría, debería haber formas mucho más eficientes de encontrar, o incluso diseñar, una configuración ganadora desde el principio.

Segundo, ¿cuáles son los límites de entrenamiento de una configuración ganadora? Presumiblemente, diferentes tipos de datos y diferentes tareas de aprendizaje profundo requerirían diferentes configuraciones.

En tercer lugar, ¿cuál es la red neuronal más pequeña posible con la que puede salirse con la suya sin dejar de lograr un alto rendimiento? Frankle descubrió que a través de un proceso iterativo de entrenamiento y poda, podía reducir constantemente la red inicial a entre un 10 % y un 20 % de su tamaño original. Pero cree que existe la posibilidad de que sea aún más pequeño.

Muchos equipos de investigación dentro de la comunidad de IA ya han comenzado a realizar un trabajo de seguimiento. Recientemente, un investigador de Princeton se burló de los resultados de un próximo documento que aborda la segunda pregunta. Un equipo de Uber también publicó un nuevo papel en varios experimentos que investigan la naturaleza de los billetes de lotería metafóricos. Lo más sorprendente es que descubrieron que una vez que se encuentra una configuración ganadora, ya logra un rendimiento significativamente mejor que la red original de gran tamaño no entrenada. antes de cualquier tipo de formación. En otras palabras, el acto de podar una red para extraer una configuración ganadora es en sí mismo un importante método de entrenamiento.

El nirvana de las redes neuronales

Frankle imagina un futuro en el que la comunidad de investigación tendrá una base de datos de código abierto de todas las diferentes configuraciones que han encontrado, con descripciones de las tareas para las que son buenos. Él llama en broma a esta red neuronal nirvana. Él cree que aceleraría y democratizaría drásticamente la investigación de IA al reducir el costo y la velocidad de la capacitación, y al permitir que las personas sin servidores de datos gigantes hagan este trabajo directamente en computadoras portátiles pequeñas o incluso en teléfonos móviles.

También podría cambiar la naturaleza de las aplicaciones de IA. Si puede entrenar una red neuronal localmente en un dispositivo en lugar de en la nube, puede mejorar la velocidad del proceso de entrenamiento y la seguridad de los datos. Imagine un dispositivo médico basado en aprendizaje automático, por ejemplo, que podría mejorar a través del uso sin necesidad de enviar datos de pacientes a los servidores de Google o Amazon.

Constantemente nos topamos con el límite de lo que podemos entrenar, dice Jason Yosinski, miembro fundador de Uber AI Labs y coautor del artículo de seguimiento de Uber, lo que significa las redes más grandes que puede caber en una GPU o el más largo que podemos. tolerar la espera antes de obtener un resultado. Si los investigadores pudieran descubrir cómo identificar configuraciones ganadoras desde el principio, se reduciría el tamaño de las redes neuronales en un factor de 10, incluso 100. El techo de posibilidades aumentaría drásticamente, abriendo un nuevo mundo de usos potenciales.

esconder