211service.com
Cómo la IA puede seguir acelerando después de la Ley de Moore
Es probable que las nuevas ideas en el diseño de chips hagan que el software siga siendo más inteligente. 30 de mayo de 2017
Andrea Cronopoulos
El CEO de Google, Sundar Pichai, obviamente estaba emocionado cuando habló con los desarrolladores sobre un resultado de gran éxito de su laboratorio de aprendizaje automático a principios de este mes. Los investigadores habían descubierto cómo automatizar parte del trabajo de creación de software de aprendizaje automático, algo que podría facilitar mucho la implementación de la tecnología en nuevas situaciones e industrias.
Pero el proyecto ya se había ganado una reputación entre los investigadores de IA por otra razón: la forma en que ilustraba los vastos recursos informáticos necesarios para competir en la vanguardia del aprendizaje automático.
Un artículo de los investigadores de Google dice que usaron simultáneamente hasta 800 de los poderosos y costosos procesadores de gráficos que han sido cruciales para el reciente aumento en el poder del aprendizaje automático (ver 10 Tecnologías innovadoras 2013: Aprendizaje profundo). Ellos dijeron Revisión de tecnología del MIT que el proyecto había ocupado cientos de chips durante dos semanas, lo que hacía que la técnica requiriera demasiados recursos para ser más que un proyecto de investigación, incluso en Google.
Un codificador sin acceso inmediato a una colección gigante de GPU necesitaría mucho dinero para replicar el experimento. Alquilar 800 GPU del servicio de computación en la nube de Amazon por solo una semana costaría alrededor de $ 120,000 a los precios indicados.
Andrea Cronopoulos
Introducir datos en el software de aprendizaje profundo para entrenarlo para una tarea en particular requiere muchos más recursos que ejecutar el sistema después, pero eso aún requiere un empuje significativo. El poder de cómputo es un cuello de botella en este momento para el aprendizaje automático, dice Reza Zadeh , profesor adjunto de la Universidad de Stanford y fundador y director ejecutivo de Matroid , una startup que ayuda a las empresas a usar software para identificar objetos como automóviles y personas en imágenes de seguridad y otros videos.
La repentina sed de nueva potencia para impulsar la IA llega en un momento en que la industria informática se está adaptando a la pérdida de dos cosas en las que ha confiado durante 50 años para que los chips sigan siendo más potentes. Una es la Ley de Moore, que pronostica que la cantidad de transistores que podrían instalarse en un área determinada de un chip se duplicaría cada dos años. El otro es un fenómeno llamado escala de Dennard, que describe cómo la cantidad de energía que usan los transistores se reduce a medida que se encogen.
Ninguno de los dos es cierto hoy. Intel ha ralentizado el ritmo al que introduce generaciones de nuevos chips con transistores más pequeños y densos (consulte La ley de Moore ha muerto. ¿Y ahora qué?) . Y las ganancias de eficiencia habituales que mostraban los transistores a medida que se hacían más pequeños se detuvieron a mediados de la década de 2000, lo que hizo que el consumo de energía fuera un gran dolor de cabeza.
La buena noticia para quienes apuestan por la IA es que hasta ahora los chips gráficos han logrado desafiar la gravedad. En la reciente conferencia del fabricante líder de chips gráficos Nvidia, el CEO Jensen Huang mostró un gráfico que muestra cómo el rendimiento de sus chips ha continuado acelerándose exponencialmente mientras que el crecimiento en el rendimiento de los procesadores de uso general, o CPU, se ha ralentizado.
Doug Burger, un distinguido ingeniero de la división NExT de Microsoft que trabaja en la comercialización de nuevas tecnologías, dice que se está abriendo una brecha similar entre el software convencional y el de aprendizaje automático. Está comenzando a ver una meseta [de rendimiento] para el software general, ha dejado de mejorar a tasas históricas, pero esto de la IA sigue aumentando rápidamente, dice.
Burger cree que esa tendencia continuará. Los ingenieros han hecho que las GPU se vuelvan más potentes porque pueden especializarse más en las matemáticas particulares que necesitan para realizar gráficos o aprendizaje automático, dice.
La misma idea está detrás de un proyecto que Burger dirigió en Microsoft, que está poniendo más poder detrás del software de inteligencia artificial mediante el uso de chips reconfigurables llamados FPGA. También motiva a las nuevas empresas, y a los gigantes como Google, a crear nuevos chips personalizados para potenciar el aprendizaje automático (ver Google revela un nuevo y poderoso chip de IA y supercomputadora).
A más largo plazo, se requerirán cambios más radicales en el funcionamiento de los chips de computadora para que la IA siga siendo más poderosa. Crear fichas que no se suman con precisión es una opción. Los prototipos han demostrado que pueden hacer que las computadoras sean más eficientes sin socavar la precisión de los resultados del software de aprendizaje automático (consulte Por qué un chip que es malo en matemáticas podría ayudar a las computadoras a abordar problemas más difíciles).
Los diseños de chips que copian directamente de la biología también podrían ser cruciales. IBM y otros han construido prototipos de chips que calculan utilizando picos de corriente, de forma similar a cómo se activan nuestras neuronas (ver Pensar en silicio). Incluso los animales simples, señala Burger, usan poca energía para hacer cosas más allá de lo que pueden lograr los robots y el software de hoy, evidencia de que las computadoras tienen mucho más por hacer.
Mira el cálculo que hace una cucaracha, dice. Hay pruebas de existencia que muestran que hay muchos más órdenes de magnitud de rendimiento y eficiencia disponibles. Nos pueden quedar décadas de escalado en la IA.