211service.com
La potencia informática necesaria para entrenar la IA ahora está aumentando siete veces más rápido que nunca
El jugador de Go Ke Jie juega un partido contra el programa de inteligencia artificial de Google, AlphaGo punto de acceso
En 2018, OpenAI descubrió que la cantidad de potencia computacional utilizada para entrenar los modelos de IA más grandes se había duplicado cada 3,4 meses desde 2012.
El laboratorio de investigación de IA con fines de lucro con sede en San Francisco ahora ha añadido nuevos datos a su análisis. Esto muestra cómo se compara la duplicación posterior a 2012 con el tiempo histórico de duplicación desde el comienzo del campo. De 1959 a 2012, la cantidad de energía utilizada se duplicó cada dos años, siguiendo la Ley de Moore. Esto significa que los recursos utilizados hoy en día se están duplicando a un ritmo siete veces más rápido que antes.
IA abierta
Este aumento dramático en los recursos necesarios subraya cuán costosos se han vuelto los logros del campo. Tenga en cuenta que el gráfico anterior muestra una escala logarítmica. En una escala lineal (abajo), puede ver más claramente cómo el uso de computación se ha multiplicado por 300 000 en los últimos siete años.
Cabe destacar que el gráfico tampoco incluye algunos de los avances más recientes, incluido el modelo de lenguaje a gran escala de Google. BERT , el modelo de lenguaje GPT-2 de OpenAI o el modelo de juego AlphaStar de StarCraft II de DeepMind.
IA abierta
En el último año, más y más investigadores han hecho sonar la alarma sobre los costos explosivos del aprendizaje profundo. En junio, un análisis de investigadores de la Universidad de Massachusetts, Amherst, mostró cómo estos crecientes costos computacionales se traducen directamente en emisiones de carbono.
En su artículo, también señalaron cómo la tendencia exacerba la privatización de la investigación de IA porque socava la capacidad de los laboratorios académicos para competir con los privados mucho más ricos en recursos.
En respuesta a esta creciente preocupación, varios grupos de la industria han hecho recomendaciones. El Instituto Allen de Inteligencia Artificial, una firma de investigación sin fines de lucro en Seattle, ha propuesto que los investigadores siempre publiquen los costos financieros y computacionales de entrenar sus modelos junto con sus resultados de rendimiento, por ejemplo.
En su propio blog, OpenAI sugirió a los formuladores de políticas que aumenten la financiación de los investigadores académicos para cerrar la brecha de recursos entre los laboratorios académicos y de la industria.
Corrección: Una versión anterior de este artículo afirmaba incorrectamente que el tiempo de duplicación actual es más de siete veces mayor que antes. Los recursos utilizados se duplican siete veces más rápido, y el tiempo de duplicación en sí mismo es una séptima parte de la vez anterior.