Dentro de la lucha para recuperar la IA del control de Big Tech

En la foto de la fila superior desde la izquierda: Raphael Gontijo Lopes, Deborah Raji, Rediet Abebe. Segunda fila: Joy Buolamwini. Tercera fila desde la izquierda: William Agnew, Timnit Gebru. Ricardo Santos

Timnit Gebru nunca pensó en un papel cientifico le causaría tantos problemas.

En 2020, como codirector del equipo de inteligencia artificial ética de Google, Gebru se acercó a emily dobladora , profesor de lingüística en la Universidad de Washington, y los dos decidieron colaborar en una investigación sobre la preocupante dirección de la inteligencia artificial. Gebru quería identificar los riesgos que plantean grandes modelos de lenguaje , uno de los avances recientes más sorprendentes en la investigación de la IA. Los modelos son algoritmos entrenados en cantidades asombrosas de texto. En las condiciones adecuadas, pueden componer lo que parecen pasajes de prosa convincentes.

Esta historia fue parte de nuestra edición de julio de 2021

• Ver el resto del número
• Suscribir

Durante algunos años, las empresas de tecnología habían estado compitiendo para construir versiones más grandes e integrarlas en productos de consumo. Google, que inventó la técnica, ya estaba usando una para mejorar la relevancia de los resultados de búsqueda. OpenAI anunció el más grande, llamado GPT-3 , en junio de 2020 y lo licenció en exclusiva a Microsoft unos meses después.

Gebru estaba preocupado por la rapidez con la que se implementaba la tecnología. En el artículo que terminó escribiendo con Bender y otros cinco, detalló los posibles peligros. Los modelos fueron enormemente costosos de crear, tanto desde el punto de vista ambiental (requieren grandes cantidades de poder computacional) como desde el punto de vista financiero; a menudo fueron capacitados en el lenguaje tóxico y abusivo de Internet; y habían llegado a dominar la investigación en inteligencia artificial del lenguaje, dando codazos a alternativas prometedoras.

Al igual que otras técnicas de IA existentes, los modelos en realidad no entienden el lenguaje. Pero debido a que pueden manipularlo para recuperar información basada en texto para los usuarios o generar una conversación natural, pueden empaquetarse en productos y servicios que hacen que las empresas de tecnología ganen mucho dinero.

Ese noviembre, Gebru presentó el documento a una conferencia. Poco después, los ejecutivos de Google le pidieron que se retractara y, cuando se negó, la despidieron. Dos meses después, también despidió a su coautora Margaret Mitchell , el otro líder del equipo ético de IA.

El desmantelamiento de ese equipo provocó una de las mayores controversias en el mundo de la IA de los últimos tiempos. Los defensores de Google argumentaron que la empresa tiene derecho a supervisar a sus propios investigadores. Pero para muchos otros, solidificó los temores sobre el grado de control que los gigantes tecnológicos ahora tienen sobre el campo. Big Tech es ahora el principal empleador y financiador de los investigadores de IA, incluidos, irónicamente, muchos de los que evalúan sus impactos sociales.

Historia relacionada

Leímos el artículo que obligó a Timnit Gebru a salir de Google. Esto es lo que dice.

El investigador estrella de ética de la empresa destacó los riesgos de los grandes modelos de lenguaje, que son clave para el negocio de Google.

Entre las empresas más ricas y poderosas del mundo, Google, Facebook, Amazon, Microsoft y Apple han hecho de la IA una parte central de su negocio. Avances en la última década, particularmente en una técnica de IA llamada aprendizaje profundo , les han permitido monitorear el comportamiento de los usuarios; recomendarles noticias, información y productos; y, sobre todo, orientarlos con anuncios. El año pasado, el aparato publicitario de Google generó más de $140 mil millones en ingresos. Facebook generó $ 84 mil millones.

Las empresas han invertido mucho en la tecnología que les ha traído tanta riqueza. La empresa matriz de Google, Alphabet, adquirió el laboratorio de IA con sede en Londres Mente profunda por $ 600 millones en 2014 y gasta cientos de millones al año para apoyar su investigación. Microsoft firmó un acuerdo de mil millones de dólares con OpenAI en 2019 por los derechos de comercialización de sus algoritmos.

Al mismo tiempo, los gigantes tecnológicos se han convertido en grandes inversores en investigación de IA basada en universidades, lo que influye en gran medida en sus prioridades científicas. A lo largo de los años, cada vez más científicos ambiciosos han pasado a trabajar para gigantes tecnológicos a tiempo completo o han adoptado una doble afiliación. Según un estudio realizado por investigadores de la Radical AI Network , un grupo que busca desafiar las dinámicas de poder en la IA.

El problema es que la agenda corporativa para la IA se ha centrado en técnicas con potencial comercial, ignorando en gran medida la investigación que podría ayudar a abordar desafíos como la desigualdad económica y el cambio climático. De hecho, ha empeorado estos desafíos. El impulso para automatizar tareas ha costado empleos y ha llevado al aumento de trabajos tediosos como la limpieza de datos y la moderación de contenido. El impulso para crear modelos cada vez más grandes ha provocado que el consumo de energía de la IA se dispare. El aprendizaje profundo también ha creado una cultura en la que nuestros datos se extraen constantemente, a menudo sin consentimiento, para entrenar productos como los sistemas de reconocimiento facial. Y los algoritmos de recomendación han exacerbado la polarización política, mientras que los grandes modelos de lenguaje no han logrado limpiar la información errónea.

Es esta situación la que Gebru y un creciente movimiento de académicos con ideas afines quieren cambiar. En los últimos cinco años, han buscado cambiar las prioridades del campo de simplemente enriquecer a las empresas de tecnología, al expandir quién puede participar en el desarrollo de la tecnología. Su objetivo no es solo mitigar los daños causados ​​por los sistemas existentes, sino también crear una IA nueva, más equitativa y democrática.

Hola desde Timnit

En diciembre de 2015, Gebru se sentó a escribir una carta abierta. A la mitad de su doctorado en Stanford, había asistido a la conferencia Neural Information Processing Systems, la mayor reunión anual de investigación de IA. De los más de 3700 investigadores allí, Gebru contó solo unos pocos que eran negros.

Una vez que una pequeña reunión sobre un tema académico de nicho, NeurIPS (como se le conoce ahora) se estaba convirtiendo rápidamente en la mayor bonanza anual de trabajo de IA. Las empresas más ricas del mundo venían a mostrar demostraciones, organizar fiestas extravagantes y escribir fuertes cheques para las personas más raras de Silicon Valley: hábiles investigadores de IA.

Ese año llegó Elon Musk para anunciar el emprendimiento sin fines de lucro IA abierta . Él, el entonces presidente de Y Combinator, Sam Altman, y el cofundador de PayPal, Peter Thiel, habían aportado mil millones de dólares para resolver lo que creían que era un problema existencial: la posibilidad de que una superinteligencia algún día pudiera apoderarse del mundo. Su solución: construir una superinteligencia aún mejor. De los 14 asesores o miembros del equipo técnico que ungió, 11 eran hombres blancos.

RICARDO SANTOS | FOTO DE CORTESÍA

Mientras Musk estaba siendo exaltado, Gebru estaba lidiando con la humillación y el acoso. En una fiesta de la conferencia, un grupo de tipos borrachos con camisetas de Google Research la rodearon y la sometieron a abrazos no deseados, un beso en la mejilla y una foto.

Gebru escribió una crítica mordaz de lo que había observado: el espectáculo, la adoración de culto de las celebridades de IA y, sobre todo, la abrumadora homogeneidad. La cultura de este club de chicos, escribió, ya había expulsado a mujeres talentosas del campo. También estaba conduciendo a toda la comunidad hacia una concepción peligrosamente estrecha de la inteligencia artificial y su impacto en el mundo.

Google ya había implementado un algoritmo de visión por computadora que clasificaba a los negros como gorilas, señaló. Y la creciente sofisticación de los drones no tripulados estaba poniendo al ejército estadounidense en el camino hacia las armas autónomas letales. Pero no se mencionaron estos problemas en el gran plan de Musk para evitar que la IA se apodere del mundo en algún escenario futuro teórico. No tenemos que proyectarnos hacia el futuro para ver los posibles efectos adversos de la IA, escribió Gebru. Ya está sucediendo.

Gebru nunca publicó su reflexión. Pero se dio cuenta de que algo necesitaba cambiar. El 28 de enero de 2016, envió un correo electrónico con el asunto Hola desde Timnit a otros cinco investigadores negros de IA. Siempre me ha entristecido la falta de color en la IA, escribió. Pero ahora he visto a 5 de ustedes :) y pensé que sería genial si comenzáramos un grupo negro en AI o al menos nos conociéramos.

El correo electrónico provocó una discusión. ¿Qué tenía ser negro que informó su investigación? Para Gebru, su trabajo fue en gran medida producto de su identidad; para otros, no lo fue. Pero después de la reunión acordaron: si la IA iba a desempeñar un papel más importante en la sociedad, necesitaban más investigadores negros. De lo contrario, el campo produciría una ciencia más débil y sus consecuencias adversas podrían empeorar.

Una agenda impulsada por las ganancias

Como Negro en IA apenas comenzaba a fusionarse, la IA estaba alcanzando su ritmo comercial. Ese año, 2016, los gigantes tecnológicos gastaron entre $20 y $30 mil millones en el desarrollo de la tecnología, según McKinsey Global Institute.

Calentado por la inversión corporativa, el campo se combó. Miles de investigadores más comenzaron a estudiar la IA, pero en su mayoría querían trabajar en algoritmos de aprendizaje profundo, como los que se encuentran detrás de los grandes modelos de lenguaje. Como joven estudiante de doctorado que quiere conseguir un trabajo en una empresa de tecnología, te das cuenta de que las empresas de tecnología tienen que ver con el aprendizaje profundo, dice Suresh Venkatasubramanian, profesor de informática que ahora trabaja en la Oficina de Política Científica y Tecnológica de la Casa Blanca. Así que cambia toda su investigación al aprendizaje profundo. Luego, el siguiente estudiante de doctorado que llega mira a su alrededor y dice: 'Todos están haciendo un aprendizaje profundo'. Probablemente debería hacerlo yo también.

Pero el aprendizaje profundo no es la única técnica en el campo. Antes de su auge, existía un enfoque de IA diferente conocido como razonamiento simbólico. Mientras que el aprendizaje profundo utiliza cantidades masivas de datos para enseñar algoritmos sobre relaciones significativas en la información, el razonamiento simbólico se centra en codificar explícitamente el conocimiento y la lógica en función de la experiencia humana.

Algunos investigadores ahora creen que esas técnicas deberían combinarse. El enfoque híbrido haría que la IA fuera más eficiente en el uso de datos y energía, y le otorgaría el conocimiento y las habilidades de razonamiento de un experto, así como la capacidad de actualizarse con nueva información. Pero las empresas tienen pocos incentivos para explorar enfoques alternativos cuando la forma más segura de maximizar sus ganancias es construir modelos cada vez más grandes.

En su artículo, Gebru y Bender aludieron a un costo básico de esta tendencia a ceñirse al aprendizaje profundo: los sistemas de IA más avanzados que necesitamos no se están desarrollando y problemas similares siguen reapareciendo. Facebook, por ejemplo, se basa en gran medida en grandes modelos de lenguaje para la moderación automática de contenido. Pero sin comprender realmente el significado detrás del texto, esos modelos a menudo fallan. Regularmente eliminan publicaciones inocuas mientras pasan por alto el discurso de odio y la desinformación.

Los sistemas de reconocimiento facial basados ​​en IA sufren el mismo problema. Están capacitados en cantidades masivas de datos, pero solo ven patrones de píxeles; no comprenden conceptos visuales como ojos, bocas y narices. Eso puede hacer tropezar a estos sistemas cuando se usan en personas con un tono de piel diferente al de las personas que se les mostró durante el entrenamiento. No obstante, Amazon y otras empresas han vendido estos sistemas a las fuerzas del orden. En los EE. UU., han causado tres casos conocidos de policías que encarcelaron a la persona equivocada, todos hombres negros, en el último año.

Durante años, muchos en la comunidad de IA aceptaron en gran medida el papel de Big Tech en la configuración del desarrollo y el impacto de estas tecnologías. Si bien algunos expresaron su incomodidad con la adquisición corporativa, muchos más dieron la bienvenida al profundo pozo de financiamiento de la industria.

Pero a medida que las deficiencias de la IA actual se han vuelto más evidentes, tanto su incapacidad para resolver problemas sociales como los crecientes ejemplos de que puede exacerbarlos, la fe en Big Tech se ha debilitado. La expulsión de Gebru y Mitchell por parte de Google avivó aún más la discusión al revelar hasta qué punto las empresas priorizarán las ganancias sobre la autocontrol.

Inmediatamente después, más de 2600 empleados de Google y otros 4300 firmaron una petición denunciando el despido de Gebru como una censura de investigación sin precedentes. Medio año después, los grupos de investigación siguen rechazando la financiación de la empresa, los investigadores se niegan a participar en los talleres de su conferencia y los empleados se marchan en señal de protesta.

A diferencia de hace cinco años, cuando Gebru comenzó a plantear estas preguntas, ahora hay un movimiento bien establecido que cuestiona qué debería ser la IA y a quién debería servir. Esto no es una coincidencia. Es en gran medida un producto de la propia iniciativa de Gebru, que comenzó con el simple acto de invitar a más investigadores negros al campo.

se necesita una conferencia

En diciembre de 2017, el nuevo grupo Black in AI organizó su primer taller en NeurIPS. Mientras organizaba el taller, Gebru se acercó a Joy Buolamwini, una investigadora del MIT Media Lab que estaba estudiando los sistemas comerciales de reconocimiento facial en busca de posibles sesgos. Buolamwini había comenzado a probar estos sistemas después de que uno no pudo detectar su propio rostro a menos que se pusiera una máscara blanca. Presentó sus resultados preliminares al taller.

Deborah Raji, entonces investigadora universitaria, fue otra de las primeras participantes. Raji estaba horrorizada por la cultura que había observado en NeurIPS. El taller se convirtió en su respiro. Pasar de cuatro o cinco días de eso a un día completo de personas que se parecen a mí hablando sobre tener éxito en este espacio, fue un estímulo muy importante para mí, dice ella.

Buolamwini, Raji y Gebru continuaron trabajando juntos en un par de estudios innovadores sobre sistemas discriminatorios de visión por computadora. Buolamwini y Gebru en coautoría Sombras de género , que mostró que los sistemas de reconocimiento facial vendidos por Microsoft, IBM y el gigante tecnológico chino Megvii tenían tasas de fallas notablemente altas en las mujeres negras a pesar de un rendimiento casi perfecto en los hombres blancos. Raji y Buolamwini luego colaboraron en un seguimiento llamado Auditoría accionable , que encontró lo mismo para Rekognition de Amazon. En 2020, Amazon aceptaría un moratoria de un año en ventas policiales de su producto, en parte debido a ese trabajo.

Historia relacionada

Empecé a llorar: dentro de los últimos días de Timnit Gebru en Google, y lo que sucede después .

Sin embargo, en el primer taller Black in AI, estos éxitos eran posibilidades lejanas. No había otra agenda que la de construir una comunidad y producir investigaciones basadas en sus perspectivas, que tanto les faltaban. Muchos espectadores no entendían por qué ese grupo necesitaba existir. Gebru recuerda los comentarios desdeñosos de algunos miembros de la comunidad de IA. Pero para otros, Black in AI señaló un nuevo camino a seguir.

Esto fue cierto para William Agnew y Raphael Gontijo Lopes, ambos hombres queer que realizaban investigaciones en informática, quienes se dieron cuenta de que podían formar un grupo Queer en IA. (Otros grupos que tomaron forma incluyen Latinx en AI, {Dis}Ability en AI y Muslim en ML). Para Agnew, en particular, tener una comunidad así se sentía como una necesidad urgente. Incluso era difícil imaginarme a mí mismo teniendo una vida feliz, dice, reflexionando sobre la falta de modelos a seguir queer en el campo. Está Turing, pero se suicidó. Eso es deprimente. Y la parte extraña de él simplemente se ignora.

No todos los miembros del grupo de afinidad ven una conexión entre su identidad y su investigación. Aún así, cada grupo ha establecido una experiencia particular. Black in AI se ha convertido en el centro intelectual para exponer la discriminación algorítmica, criticar la vigilancia y desarrollar técnicas de IA eficientes en datos. Queer in AI se ha convertido en un centro para cuestionar las formas en que los algoritmos infringen la privacidad de las personas y las clasifican en categorías delimitadas de forma predeterminada.

Venkatasubramanian y Gebru también ayudaron a crear la conferencia Equidad, Responsabilidad y Transparencia (FAccT) para crear un foro de investigación sobre las implicaciones sociales y políticas de la IA. Las ideas y los borradores de los documentos discutidos en los talleres de grupos de afinidad de NeurIPS a menudo se convierten en la base de los documentos publicados en FAccT, que luego muestra esa investigación a un público más amplio.

Fue después de que Buolamwini presentara en el primer taller Black in AI, por ejemplo, que FAccT publicó Gender Shades. Junto con Actionable Auditing, impulsó varias campañas importantes de educación y promoción para limitar el uso del reconocimiento facial por parte del gobierno. Cuando Amazon intentó socavar la legitimidad de la investigación de Buolamwini y Raji, docenas de investigadores de IA y organizaciones de la sociedad civil se unieron para defenderlos, presagiando lo que harían más tarde por Gebru. Esos esfuerzos eventualmente contribuyeron a la moratoria de Amazon, que en mayo la compañía anunció que extendería indefinidamente.

La investigación también desencadenó una cascada de regulación. Más de una docena de ciudades han prohibido el uso del reconocimiento facial por parte de la policía, y Massachusetts ahora requiere que la policía obtenga el permiso de un juez para usarlo. Tanto EE. UU. como la Comisión Europea han propuesto una regulación adicional.

Primero teníamos que estar allí, dice Gebru. Y en algún momento, lo que dice Black in AI comienza a ser importante. Y lo que dicen todos estos grupos juntos se vuelve importante. Tienes que escucharnos ahora.

Sigue el dinero

Después del despido de Gebru y Mitchell, el campo está lidiando nuevamente con una vieja pregunta: ¿es posible cambiar el status quo mientras se trabaja desde adentro? Gebru todavía cree que trabajar con gigantes tecnológicos es la mejor manera de identificar los problemas. Pero también cree que los investigadores corporativos necesitan protecciones legales más sólidas. Si ven prácticas riesgosas, deberían poder compartir públicamente sus observaciones sin poner en peligro sus carreras.

Luego está la cuestión de la financiación. Muchos investigadores quieren más inversión del gobierno de los EE. UU. para apoyar el trabajo que es fundamental para el desarrollo de la IA comercial y promueve el bienestar público. El año pasado, comprometió unos míseros mil millones de dólares para la investigación de IA no relacionada con la defensa. La administración de Biden ahora le está pidiendo al Congreso que invierta $ 180 mil millones adicionales en tecnologías emergentes, con la IA como una de las principales prioridades.

Dicho financiamiento podría ayudar a personas como Abebe regresará , profesor asistente de informática en la Universidad de California, Berkeley. Abebe, quien también cofundó Black in AI, ingresó a AI con ideas de usarla para promover la equidad social. Pero cuando comenzó su doctorado en Cornell, nadie estaba enfocado en hacer esa investigación.

En el otoño de 2016, como estudiante de doctorado, comenzó un pequeño grupo de lectura de Cornell con un compañero estudiante de posgrado para estudiar temas como la inestabilidad de la vivienda, el acceso a la atención médica y la desigualdad. Luego se embarcó en un nuevo proyecto para ver si sus habilidades informáticas podrían apoyar los esfuerzos para aliviar la pobreza.

Eventualmente, encontró el estudio Poverty Tracker, un conjunto de datos detallados sobre los impactos financieros (gastos inesperados como facturas médicas o multas de estacionamiento) experimentados por más de 2,000 familias de Nueva York. A través de muchas conversaciones con los autores del estudio, trabajadores sociales y organizaciones sin fines de lucro que atienden a comunidades marginadas, aprendió sobre sus necesidades y les dijo cómo podía ayudar. Luego, Abebe desarrolló un modelo que mostraba cómo la frecuencia y el tipo de crisis afectaban la situación económica de una familia.

Cinco años después, el proyecto sigue en curso. Ahora colabora con organizaciones sin fines de lucro para mejorar su modelo y trabaja con legisladores a través del Laboratorio de Políticas de California para usarlo como una herramienta para prevenir la falta de vivienda. Su grupo de lectura también se ha convertido desde entonces en una comunidad de 2000 personas y realizará su conferencia inaugural a finales de este año.

Abebe lo ve como una forma de incentivar a más investigadores a cambiar las normas de la IA. Mientras que las conferencias tradicionales de ciencias de la computación enfatizan el avance de las técnicas computacionales por el simple hecho de hacerlo, la nueva publicará trabajos que primero buscan comprender profundamente un problema social. El trabajo no es menos técnico, pero sienta las bases para que surja una IA más significativa socialmente.

Estos cambios por los que estamos luchando, no son solo para los grupos marginados, dice ella. En realidad es para todos.

esconder