Leímos el artículo que obligó a Timnit Gebru a salir de Google. Esto es lo que dice.

El investigador estrella de ética de la empresa destacó los riesgos de los grandes modelos de lenguaje, que son clave para el negocio de Google.





  • karen hao página de archivo
4 de diciembre de 2020 Timnit Gebru

cortesía de Timnit Gebru

En la noche del miércoles 2 de diciembre, Timnit Gebru, codirector del equipo de inteligencia artificial ética de Google, anunció a través de Twitter que la empresa la había obligado a salir.

Gebru, un líder muy respetado en la investigación de la ética de la IA, es conocido por ser coautor un papel innovador que mostró que el reconocimiento facial es menos preciso para identificar a mujeres y personas de color, lo que significa que su uso puede terminar discriminando contra ellas. También cofundó el grupo de afinidad Black in AI, y defiende la diversidad en la industria tecnológica . El equipo que ayudó a construir en Google es uno de los más diversos en IA e incluye muchos expertos líderes por derecho propio. Sus compañeros en el campo lo envidiaban por producir un trabajo crítico que a menudo desafiaba las prácticas convencionales de IA.



A serie de tuits , correos electrónicos filtrados , y media articles mostró que la salida de Gebru fue la culminación de un conflicto sobre otro artículo del que era coautora. Jeff Dean, el jefe de Google AI, les dijo a sus colegas en un correo electrónico interno (que tiene desde poner en línea ) que el periódico no cumplió con nuestro estándar de publicación y que Gebru había dicho que renunciaría a menos que Google cumpliera una serie de condiciones, que no estaba dispuesta a cumplir. Gebru tuiteó que ella había pedido negociar una última fecha para su empleo después de regresar de vacaciones. Fue cortada de su cuenta de correo electrónico corporativa antes de su regreso.

En línea, muchos otros líderes en el campo de la ética de la IA argumentan que la compañía la expulsó debido a las verdades incómodas que estaba descubriendo sobre una línea central de su investigación, y quizás su resultado final. Más de 1400 miembros del personal de Google y otros 1900 colaboradores también han firmó una carta de protesta .

Muchos detalles de la secuencia exacta de eventos que llevaron a la partida de Gebru aún no están claros; tanto ella como Google se han negado a comentar más allá de sus publicaciones en las redes sociales. Pero MIT Technology Review obtuvo una copia del trabajo de investigación de uno de los coautores, Emily M. Bender, profesora de lingüística computacional en la Universidad de Washington. Aunque Bender nos pidió que no publicáramos el artículo en sí porque los autores no querían que un borrador tan temprano circulara en línea, da una idea de las preguntas que Gebru y sus colegas estaban planteando sobre la IA que podrían estar causando preocupación en Google.



Sobre los peligros de los loros estocásticos: ¿Pueden los modelos de lenguaje ser demasiado grandes? expone los riesgos de los modelos de lenguaje grandes: IA entrenadas en cantidades asombrosas de datos de texto. estos han crecido cada vez más popular -y cada vez más grande —en los últimos tres años. Ahora son extraordinariamente buenos, en las condiciones adecuadas, para producir lo que parece un texto nuevo convincente y significativo, y algunas veces para estimar el significado del lenguaje. Pero, dice la introducción del documento, preguntamos si se ha pensado lo suficiente en los riesgos potenciales asociados con su desarrollo y las estrategias para mitigar estos riesgos.

El papel

El documento, que se basa en el trabajo de otros investigadores, presenta la historia del procesamiento del lenguaje natural, una descripción general de los cuatro riesgos principales de los modelos de lenguaje grandes y sugerencias para futuras investigaciones. Dado que el conflicto con Google parece estar relacionado con los riesgos, nos hemos centrado en resumirlos aquí.

Costos ambientales y financieros

El entrenamiento de grandes modelos de IA consume mucha potencia de procesamiento informático y, por lo tanto, mucha electricidad. Gebru y sus coautores se refieren a un artículo de 2019 de Emma Strubell y sus colaboradores sobre las emisiones de carbono y los costos financieros de grandes modelos de lenguaje. Descubrió que su consumo de energía y su huella de carbono se han disparado desde 2017, ya que los modelos han recibido más y más datos.



El estudio de Strubell encontró que entrenar un modelo de lenguaje con un tipo particular de método de búsqueda de arquitectura neuronal (NAS) habría producido el equivalente a 626,155 libras (284 toneladas métricas) de dióxido de carbono, aproximadamente la producción de por vida de cinco autos estadounidenses promedio. Entrenando una versión del modelo de lenguaje de Google, BERT, que sustenta el buscador de la empresa , produjo 1438 libras de CO2 equivalente según la estimación de Strubell, casi lo mismo que un vuelo de ida y vuelta entre la ciudad de Nueva York y San Francisco. Estos números deben verse como mínimos, el costo de entrenar un modelo una vez. En la práctica, los modelos se entrenan y se vuelven a entrenar muchas veces durante la investigación y el desarrollo.

El borrador del documento de Gebru señala que los recursos necesarios para construir y mantener modelos de IA tan grandes significa que tienden a beneficiar a las organizaciones ricas, mientras que el cambio climático afecta más a las comunidades marginadas. Ya es hora de que los investigadores prioricen la eficiencia energética y el costo para reducir el impacto ambiental negativo y el acceso desigual a los recursos, escriben.

Datos masivos, modelos inescrutables

Los modelos de lenguaje grande también se entrenan en cantidades de texto que aumentan exponencialmente. Esto significa que los investigadores han tratado de recopilar todos los datos que pueden de Internet, por lo que existe el riesgo de que el lenguaje racista, sexista y abusivo termine en los datos de entrenamiento.



Un modelo de IA al que se le enseñó a ver el lenguaje racista como normal es obviamente malo. Sin embargo, los investigadores señalan un par de problemas más sutiles. Una es que los cambios en el lenguaje juegan un papel importante en el cambio social; los movimientos MeToo y Black Lives Matter, por ejemplo, han tratado de establecer un nuevo vocabulario antisexista y antirracista. Un modelo de IA entrenado en grandes extensiones de Internet no estará en sintonía con los matices de este vocabulario y no producirá ni interpretará el lenguaje de acuerdo con estas nuevas normas culturales.

Tampoco podrá capturar el idioma y las normas de los países y pueblos que tienen menos acceso a Internet y, por lo tanto, una huella lingüística en línea más pequeña. El resultado es que el lenguaje generado por IA se homogeneizará, reflejando las prácticas de los países y comunidades más ricos.

Además, debido a que los conjuntos de datos de entrenamiento son tan grandes, es difícil auditarlos para verificar estos sesgos incrustados. Por lo tanto, una metodología que se basa en conjuntos de datos demasiado grandes para documentarlos es inherentemente riesgosa, concluyen los investigadores. Si bien la documentación permite una responsabilidad potencial, [...] los datos de capacitación no documentados perpetúan el daño sin recurso.

Costos de oportunidad de investigación

Los investigadores resumen el tercer desafío como el riesgo de un esfuerzo de investigación mal dirigido. Aunque la mayoría de los investigadores de IA reconocen que los grandes modelos de lenguaje en realidad no comprender idioma y son simplemente excelentes en manipulando En él, Big Tech puede ganar dinero con modelos que manipulan el lenguaje con mayor precisión, por lo que sigue invirtiendo en ellos. Este esfuerzo de investigación trae consigo un costo de oportunidad, escriben Gebru y sus colegas. No se dedica tanto esfuerzo a trabajar en modelos de IA que puedan lograr la comprensión, o que logren buenos resultados con conjuntos de datos más pequeños y cuidadosamente seleccionados (y, por lo tanto, también usen menos energía).

Ilusiones de significado

El problema final con los grandes modelos de lenguaje, dicen los investigadores, es que debido a que son tan buenos para imitar el lenguaje humano real, es fácil usarlos para engañar a las personas. Ha habido algunos casos de alto perfil, como el estudiante universitario que produjo consejos de autoayuda y productividad generados por IA en un blog, que se volvió viral.

Los peligros son obvios: los modelos de IA podrían usarse para generar información errónea sobre una elección o la pandemia de covid-19, por ejemplo. También pueden fallar inadvertidamente cuando se usan para la traducción automática. Los investigadores mencionan un ejemplo: en 2017, Facebook mal traducido la publicación de un hombre palestino, que decía buenos días en árabe, mientras los atacaba en hebreo, lo que llevó a su arresto.

por qué importa

El artículo de Gebru y Bender tiene seis coautores, cuatro de los cuales son investigadores de Google. Bender pidió evitar revelar sus nombres por temor a las repercusiones. (Bender, por el contrario, es profesor titular: creo que esto subraya el valor de la libertad académica, dice).

El objetivo del artículo, dice Bender, era hacer un balance del panorama de la investigación actual en el procesamiento del lenguaje natural. Estamos trabajando a una escala en la que las personas que construyen las cosas en realidad no pueden manejar los datos, dijo. Y debido a que las ventajas son tan obvias, es particularmente importante dar un paso atrás y preguntarnos, ¿cuáles son las posibles desventajas? … ¿Cómo obtenemos los beneficios de esto mientras mitigamos el riesgo?

En su correo electrónico interno, Dean, el jefe de IA de Google, dijo que una de las razones por las que el artículo no cumplió con nuestro estándar fue que ignoró demasiada investigación relevante. Específicamente, dijo que no menciona el trabajo más reciente sobre cómo hacer que los modelos de lenguaje grandes sean más eficientes energéticamente y mitiguen los problemas de sesgo.

Sin embargo, los seis colaboradores se basaron en una amplia gama de estudios. La lista de citas del artículo, con 128 referencias, es notablemente larga. Es el tipo de trabajo que ningún autor individual o incluso un par de autores puede lograr, dijo Bender. Realmente requería esta colaboración.

La versión del documento que vimos también hace un guiño a varios esfuerzos de investigación para reducir el tamaño y los costos computacionales de los modelos de lenguaje grandes, y para medir el sesgo incorporado de los modelos. Sostiene, sin embargo, que estos esfuerzos no han sido suficientes. Estoy muy abierto a ver qué otras referencias deberíamos incluir, dijo Bender.

Nicolas Le Roux, investigador de inteligencia artificial de Google en la oficina de Montreal, más tarde señaló en Twitter que el razonamiento en el correo electrónico de Dean era inusual. Mis envíos siempre fueron revisados ​​por la divulgación de material sensible, nunca por la calidad de la revisión de la literatura, dijo.

El correo electrónico de Dean también dice que Gebru y sus colegas le dieron a Google AI solo un día para una revisión interna del documento antes de enviarlo a una conferencia para su publicación. Escribió que nuestro objetivo es rivalizar con las revistas revisadas por pares en términos de rigor y consideración en la forma en que revisamos la investigación antes de su publicación.

Bender señaló que, aun así, la conferencia aún sometería el documento a un proceso de revisión sustancial: la beca es siempre una conversación y siempre un trabajo en progreso, dijo.

Otros, incluido William Fitzgerald, exgerente de relaciones públicas de Google, han sembrar más dudas en el reclamo de Dean.

Google fue pionera en gran parte de la investigación fundamental que desde entonces condujo a la reciente explosión de grandes modelos de lenguaje. Google AI fue el primero en inventar el Modelo de lenguaje transformador en 2017 que sirve como base para el modelo BERT posterior de la compañía y GPT-2 y GPT-3 de OpenAI. BERT, como se señaló anteriormente, ahora también impulsa la búsqueda de Google, la fuente de ingresos de la empresa.

A Bender le preocupa que las acciones de Google puedan tener un efecto escalofriante en futuras investigaciones sobre ética de la IA. Muchos de los principales expertos en ética de la IA trabajan en grandes empresas tecnológicas porque ahí es donde está el dinero. Eso ha sido beneficioso de muchas maneras, dice ella. Pero terminamos con un ecosistema que tal vez tiene incentivos que no son los mejores para el progreso de la ciencia para el mundo.

Actualización (7 de diciembre): Se han agregado detalles adicionales para aclarar los costos ambientales de los modelos de lenguaje grandes.

esconder