Entrenar un solo modelo de IA puede emitir tanto carbono como cinco autos en su vida

un centro de datos Decano Mouhtaropoulos | Getty; editado por MIT Technology Review

La industria de la inteligencia artificial a menudo se compara con la industria del petróleo: una vez extraídos y refinados, los datos, como el petróleo, pueden ser un producto muy lucrativo. Ahora parece que la metáfora puede extenderse aún más. Al igual que su contraparte de combustibles fósiles, el proceso de aprendizaje profundo tiene un impacto ambiental enorme.

en un nuevo papel , investigadores de la Universidad de Massachusetts, Amherst, realizaron una evaluación del ciclo de vida para entrenar varios modelos de IA grandes comunes. Descubrieron que el proceso puede emitir más de 626,000 libras de dióxido de carbono equivalente, casi cinco veces las emisiones de por vida del automóvil estadounidense promedio (y eso incluye la fabricación del automóvil en sí).

Es una cuantificación discordante de algo que los investigadores de IA han sospechado durante mucho tiempo. Si bien probablemente muchos de nosotros hemos pensado en esto en un nivel vago y abstracto, las cifras realmente muestran la magnitud del problema, dice Carlos Gómez-Rodríguez, científico informático de la Universidad de A Coruña en España, que no participó en el investigar. Ni yo ni otros investigadores con los que los he discutido pensamos que el impacto ambiental era tan sustancial.

La huella de carbono del procesamiento del lenguaje natural

El documento examina específicamente el proceso de entrenamiento del modelo para el procesamiento del lenguaje natural (NLP), el subcampo de la IA que se enfoca en enseñar a las máquinas a manejar el lenguaje humano. En los últimos dos años, la comunidad de PNL ha alcanzado varios hitos de desempeño notables en traducción automática, finalización de oraciones y otras tareas estándar de evaluación comparativa. El infame modelo GPT-2 de OpenAI, como ejemplo, se destacó en la redacción de artículos de noticias falsas convincentes.

Pero tales avances han requerido entrenar modelos cada vez más grandes en conjuntos de datos en expansión de oraciones extraídas de Internet. El enfoque es computacionalmente costoso y requiere mucha energía.

Los investigadores observaron cuatro modelos en el campo que han sido responsables de los mayores avances en el rendimiento: el Transformador, ELMo, BERT y GPT-2. Entrenaron a cada uno en una sola GPU durante un día para medir su consumo de energía. Luego usaron la cantidad de horas de capacitación enumeradas en los documentos originales del modelo para calcular la energía total consumida durante todo el proceso de capacitación. Ese número se convirtió en libras de dióxido de carbono equivalente en función de la combinación de energía promedio en los EE. UU., que se asemeja mucho a la combinación de energía utilizada por AWS de Amazon, el mayor proveedor de servicios en la nube.

Descubrieron que los costos computacionales y ambientales del entrenamiento crecieron proporcionalmente al tamaño del modelo y luego explotaron cuando se usaron pasos de ajuste adicionales para aumentar la precisión final del modelo. En particular, descubrieron que un proceso de ajuste conocido como búsqueda de arquitectura neuronal, que trata de optimizar un modelo modificando gradualmente el diseño de una red neuronal a través de una prueba y error exhaustiva, tenía costos asociados extraordinariamente altos por poco beneficio de rendimiento. Sin él, el modelo más costoso, BERT, tenía una huella de carbono de aproximadamente 1400 libras de dióxido de carbono equivalente, cerca de un vuelo transamericano de ida y vuelta para una persona.

Además, los investigadores señalan que las cifras solo deben considerarse como líneas de base. Entrenar un solo modelo es la cantidad mínima de trabajo que puede hacer, dice Emma Strubell, candidata a doctorado en la Universidad de Massachusetts, Amherst, y autora principal del artículo. En la práctica, es mucho más probable que los investigadores de IA desarrollen un nuevo modelo desde cero o adapten un modelo existente a un nuevo conjunto de datos, cualquiera de los cuales puede requerir muchas más rondas de capacitación y ajuste.

Para tener una mejor idea de cómo se vería la tubería de desarrollo completa en términos de huella de carbono, Strubell y sus colegas usaron un modelo que habían producido en un papel anterior como caso de estudio. Descubrieron que el proceso de construcción y prueba de un modelo final digno de papel requería entrenar 4789 modelos durante un período de seis meses. Convertido a CO2 equivalente, emitió más de 78 000 libras y es probablemente representativo del trabajo típico en el campo.

La importancia de esas cifras es colosal, especialmente cuando se consideran las tendencias actuales en la investigación de IA. En general, gran parte de la investigación más reciente en IA descuida la eficiencia, ya que se ha descubierto que las redes neuronales muy grandes son útiles para una variedad de tareas, y las empresas e instituciones que tienen abundante acceso a recursos computacionales pueden aprovechar esto para obtener una ventaja competitiva. Gómez-Rodríguez dice. Era necesario hacer este tipo de análisis para crear conciencia sobre los recursos que se están gastando [...] y provocará un debate.

Lo que probablemente muchos de nosotros no entendimos es la escala hasta que vimos estas comparaciones, se hizo eco Siva Reddy, un postdoctorado en la Universidad de Stanford que no participó en la investigación.

La privatización de la investigación en IA

Los resultados también subrayan otro problema creciente en la IA: la gran cantidad de recursos que ahora se requieren para producir resultados dignos de papel ha hecho que sea cada vez más difícil para las personas que trabajan en la academia continuar contribuyendo a la investigación.

Esta tendencia hacia el entrenamiento de modelos enormes en toneladas de datos no es factible para los académicos, especialmente para los estudiantes de posgrado, porque no tenemos los recursos computacionales, dice Strubell. Entonces, hay un problema de acceso equitativo entre los investigadores en la academia versus los investigadores en la industria.

Strubell y sus coautores esperan que sus colegas presten atención a los hallazgos del artículo y ayuden a nivelar el campo de juego invirtiendo en el desarrollo de hardware y algoritmos más eficientes.

Reddy está de acuerdo. El cerebro humano puede hacer cosas asombrosas con poco consumo de energía, dice. La gran pregunta es cómo podemos construir tales máquinas.

esconder