211service.com
La próxima explosión de IA estará definida por los chips que construimos para ella
jeremy portje
El diseño de hardware, en lugar de los algoritmos, nos ayudará a lograr el próximo gran avance en IA. Eso es según Bill Dally, científico jefe de Nvidia, quien subió al escenario el martes en EmTech Digital, la conferencia de IA de MIT Technology Review. Nuestra revolución actual en el aprendizaje profundo ha sido posible gracias al hardware, dijo.
Como evidencia, señaló la historia del campo: muchos de los algoritmos que usamos hoy existen desde la década de 1980, y el gran avance del uso de grandes cantidades de datos etiquetados para entrenar redes neuronales se produjo a principios de la década de 2000. Pero no fue hasta principios de la década de 2010, cuando las unidades de procesamiento de gráficos, o GPU, entraron en escena, que la revolución del aprendizaje profundo realmente despegó.
Tenemos que continuar brindando hardware más capaz, o el progreso en IA realmente se ralentizará, dijo Dally.
Nvidia ahora está explorando tres caminos principales a seguir: desarrollar chips más especializados; reducir el cálculo requerido durante el aprendizaje profundo; y experimentar con arquitecturas de chips analógicas en lugar de digitales.
Nvidia descubrió que los chips altamente especializados diseñados para una tarea informática específica pueden superar a los chips GPU que son buenos para manejar muchos tipos diferentes de cómputo. La diferencia, dijo Dally, podría ser de hasta un 20 % de aumento en la eficiencia para el mismo nivel de rendimiento.
Dally también hizo referencia a un estudio que realizó Nvidia para probar el potencial de la poda: la idea de que puede reducir la cantidad de cálculos que se deben realizar durante el entrenamiento, sin sacrificar la precisión de un modelo de aprendizaje profundo. Los investigadores de la empresa descubrieron que podían omitir alrededor del 90 % de esos cálculos manteniendo la misma precisión de aprendizaje. Esto significa que se pueden realizar las mismas tareas de aprendizaje utilizando arquitecturas de chips mucho más pequeñas.
Finalmente, Dally mencionó que Nvidia ahora está experimentando con computación analógica. Las computadoras almacenan casi toda la información, incluidos los números, como una serie de 0 s o 1 s. Pero el cálculo analógico permitiría codificar directamente todo tipo de valores, como 0,3 o 0,7. Eso debería desbloquear un cálculo mucho más eficiente, porque los números se pueden representar de manera más sucinta, aunque Dally dijo que su equipo actualmente no está seguro de cómo encajará lo analógico en el futuro del diseño de chips.
Naveen Rao, vicepresidente corporativo y gerente general del Grupo de productos de IA de Intel, también subió al escenario y comparó la importancia de la evolución del hardware de IA con el papel que jugó la evolución en la biología. Las ratas y los humanos, dijo, tienen una evolución divergente en una escala de tiempo de unos pocos cientos de millones de años. Sin embargo, a pesar de las capacidades enormemente mejoradas, los humanos tienen las mismas unidades informáticas fundamentales que sus contrapartes roedores.
El mismo principio se aplica cuando se trata de diseños de chips, dijo Rao. Cualquier chip, ya sea especializado o flexible, digital o analógico, óptico o de otro tipo, es simplemente un sustrato para codificar y manipular información. Pero dependiendo de cómo esté diseñado ese sustrato, podría ser la diferencia entre las capacidades de una rata y las de un humano.
Los insectos, como las ratas, dijo, también están construidos con las mismas unidades fundamentales que los humanos. Pero los insectos tienen arquitecturas fijas mientras que los humanos tienen arquitecturas más flexibles. Ninguno de los dos, argumentó, es superior al otro, pero claramente evolucionaron para adaptarse a diferentes propósitos. Es probable que los insectos sobrevivan a una guerra nuclear, mientras que los humanos tienen capacidades mucho más sofisticadas.
Nuevamente, esos principios se pueden aplicar al diseño de chips. A medida que ponemos más dispositivos inteligentes en línea, no siempre tendrá sentido enviar sus datos a la nube para que se procesen a través de un modelo de aprendizaje profundo. En cambio, puede tener sentido ejecutar un modelo de aprendizaje profundo pequeño y eficiente en el propio dispositivo. Esta idea, conocida como AI on the edge, podría beneficiarse de arquitecturas de chips fijos especializados que sean más eficientes. Los centros de datos que impulsan la IA en la nube, por otro lado, se ejecutarían en arquitecturas de chips totalmente flexibles y programables, para manejar un espectro mucho más amplio de tareas de aprendizaje.
Rao señaló que independientemente de los diseños de chips que Intel y Nvidia decidan seguir, el efecto en la evolución de la IA será significativo. A lo largo de la historia, las civilizaciones individuales evolucionaron de formas muy diferentes debido a los materiales únicos a su disposición. Del mismo modo, las operaciones que Intel y Nvidia facilitan a través de diferentes diseños de chips influirán en gran medida en los tipos de tareas de aprendizaje que realizará la comunidad de IA.
Estamos en esta rápida explosión precámbrica [para arquitecturas de chips] en este momento, dijo Rao, y no todas las soluciones van a ganar.