La startup que hace posible el aprendizaje profundo sin hardware especializado

Magia neural

El descubrimiento que llevó a Nir Shavit a iniciar una empresa se produjo de la forma en que lo hacen la mayoría de los descubrimientos: por accidente. El profesor del MIT estaba trabajando en un proyecto para reconstruir un mapa del cerebro de un ratón y necesitaba ayuda del aprendizaje profundo. Sin saber cómo programar tarjetas gráficas o GPU, la opción de hardware más común para los modelos de aprendizaje profundo, optó por una unidad central de procesamiento o CPU, el chip de computadora más genérico que se encuentra en cualquier computadora portátil promedio.

Y he aquí, recuerda Shavit, me di cuenta de que una CPU puede hacer lo que hace una GPU, si se programa de la manera correcta.

Esta idea es ahora la base de su puesta en marcha, Neural Magic, que lanzó hoy su primer conjunto de productos. La idea es permitir que cualquier empresa implemente un modelo de aprendizaje profundo sin necesidad de hardware especializado. No solo reduciría los costos del aprendizaje profundo, sino que también haría que la IA fuera más accesible.

Esto significaría que podría usar redes neuronales en muchas más máquinas y muchas más existente máquinas, dice Neil Thompson, científico investigador del Laboratorio de Ciencias de la Computación e Inteligencia Artificial del MIT, que no está involucrado en Neural Magic. No necesitarías actualizar a algo especial.

Las GPU se convirtieron en el hardware elegido para el aprendizaje profundo en gran parte por coincidencia. Los chips se diseñaron inicialmente para generar gráficos rápidamente en aplicaciones como los videojuegos. A diferencia de las CPU, que tienen de cuatro a ocho núcleos complejos para realizar una variedad de cálculos, las GPU tienen cientos de núcleos simples que solo pueden realizar operaciones específicas, pero los núcleos pueden abordar sus operaciones al mismo tiempo en lugar de uno tras otro, lo que reduce el tiempo. se necesita para completar un cálculo intensivo.

La comunidad de investigación de IA no tardó mucho en darse cuenta de que esta paralelización masiva también hace que las GPU sean excelentes para el aprendizaje profundo. Al igual que la representación de gráficos, el aprendizaje profundo implica cálculos matemáticos simples realizados cientos de miles de veces. En 2011, en colaboración con el fabricante de chips Nvidia, Google fundar que un modelo de visión artificial que había entrenado con 2000 CPU para distinguir a los gatos de las personas podía lograr el mismo rendimiento cuando se entrenaba con solo 12 GPU. Las GPU se convirtieron en el chip de facto para el entrenamiento y la inferencia de modelos, el proceso computacional que ocurre cuando un modelo entrenado se usa para las tareas para las que fue entrenado.

Pero las GPU tampoco son perfectas para el aprendizaje profundo. Por un lado, no pueden funcionar como un chip independiente. Debido a que están limitados en los tipos de operaciones que pueden realizar, deben conectarse a las CPU para manejar todo lo demás. Las GPU también tienen una cantidad limitada de memoria caché, el área de almacenamiento de datos más cercana a los procesadores de un chip. Esto significa que la mayor parte de los datos se almacenan fuera del chip y deben recuperarse cuando llega el momento de su procesamiento. El flujo de datos de ida y vuelta termina siendo un cuello de botella para el cálculo, limitando la velocidad a la que las GPU pueden ejecutar algoritmos de aprendizaje profundo.

Oficina de Magia Neural.

MAGIA NEURAL

En años recientes, decenas de empresas han surgido para diseñar chips de IA que evitan estos problemas. El problema es que cuanto más especializado es el hardware, más caro se vuelve.

Neural Magic tiene la intención de contrarrestar esta tendencia. En lugar de jugar con el hardware, la empresa modificó el software. Rediseñó los algoritmos de aprendizaje profundo para que se ejecutaran de manera más eficiente en una CPU al utilizar la gran memoria disponible y los núcleos complejos de los chips. Si bien el enfoque pierde la velocidad lograda a través de la paralelización de una GPU, se informa que recupera aproximadamente la misma cantidad de tiempo al eliminar la necesidad de transportar datos dentro y fuera del chip. Los algoritmos pueden ejecutarse en CPU a velocidades de GPU, dice la compañía, pero a una fracción del costo. Parece que lo que han hecho es descubrir una manera de aprovechar la memoria de la CPU de una manera que la gente no había hecho antes, dice Thompson.

Neural Magic cree que puede haber algunas razones por las que nadie tomó este enfoque anteriormente. Primero, es contraintuitivo. La idea de que el aprendizaje profundo necesita hardware especializado está tan arraigada que es fácil pasar por alto otros enfoques. En segundo lugar, la aplicación de IA en la industria aún es relativamente nueva y las empresas recién comienzan a buscar formas más fáciles de implementar algoritmos de aprendizaje profundo. Pero aún no está claro si la demanda es lo suficientemente profunda como para que Neural Magic despegue. La empresa ha estado realizando pruebas beta de su producto con alrededor de 10 empresas, solo una pequeña parte de la industria de IA en general.

Queremos mejorar no solo las redes neuronales, sino también la informática en general.

neil thompson

Neural Magic ofrece actualmente su técnica para tareas de inferencia en visión artificial. Los clientes aún deben entrenar sus modelos en hardware especializado, pero luego pueden usar el software de Neural Magic para convertir el modelo entrenado en un formato compatible con CPU. Un cliente, un gran fabricante de equipos de microscopía, ahora está probando este enfoque para agregar capacidades de inteligencia artificial en el dispositivo a sus microscopios, dice Shavit. Debido a que los microscopios ya vienen con una CPU, no necesitarán ningún hardware adicional. Por el contrario, el uso de un modelo de aprendizaje profundo basado en GPU requeriría que el equipo sea más voluminoso y consuma más energía.

Otro cliente quiere usar Neural Magic para procesar imágenes de cámaras de seguridad. Eso le permitiría monitorear el tráfico de entrada y salida de un edificio usando computadoras ya disponibles en el sitio; de lo contrario, podría tener que enviar las imágenes a la nube, lo que podría generar problemas de privacidad, o adquirir hardware especial para cada edificio que monitorea.

Shavit dice que la inferencia también es solo el comienzo. Neural Magic planea expandir su oferta en el futuro para ayudar a las empresas tren sus modelos de IA también en CPU. Creemos que dentro de 10 a 20 años, las CPU serán el tejido real para ejecutar algoritmos de aprendizaje automático, dice.

Thompson no está tan seguro. La economía realmente ha cambiado en torno a la producción de chips, y eso conducirá a una especialización mucho mayor, dice. Además, si bien la técnica de Neural Magic obtiene más rendimiento del hardware existente, los avances fundamentales del hardware seguirán siendo la única forma de continuar impulsando la informática. Esto suena como una muy buena manera de mejorar el rendimiento en las redes neuronales, dice. Pero queremos mejorar no solo las redes neuronales, sino también la informática en general.

esconder