Cómo Facebook se volvió adicto a difundir información errónea

Los algoritmos de inteligencia artificial de la compañía le dieron un hábito insaciable de mentiras y discursos de odio. Ahora el hombre que los construyó no puede solucionar el problema.

Los culpables son Wintermeyer

por

• karen hao página de archivo

11 de marzo de 2021

Joaquín Quiñonero Candela, director de AI en Facebook, se disculpaba con su audiencia.

Fue el 23 de marzo de 2018, solo unos días después de la revelación de que Cambridge Analytica, una consultora que trabajó en la campaña electoral presidencial de Donald Trump en 2016, había desviado subrepticiamente los datos personales de decenas de millones de estadounidenses de sus cuentas de Facebook en un intento de influir en cómo ellos votaron Fue la mayor violación de la privacidad en la historia de Facebook, y Quiñonero había sido programado previamente para hablar en una conferencia sobre, entre otras cosas, la intersección de la IA, la ética y la privacidad en la empresa. Consideró cancelar, pero después de debatirlo con su director de comunicaciones, mantuvo el tiempo asignado.

Cuando dio un paso hacia la habitación, comenzó con una admisión. Acabo de tener los cinco días más difíciles en mi mandato en Facebook, recuerda haber dicho. Si hay críticas, las aceptaré.

El escándalo de Cambridge Analytica daría inicio a la mayor crisis publicitaria de Facebook. Agravó los temores de que los algoritmos que determinan lo que la gente ve en la plataforma estuvieran amplificando las noticias falsas y el discurso de odio, y que los piratas informáticos rusos los hubieran convertido en armas para tratar de influir en las elecciones a favor de Trump. millones comenzó a eliminar la aplicación ; los empleados se fueron en protesta; la capitalización de mercado de la empresa se desplomó más de $ 100 mil millones después de su llamada de ganancias de julio.

En los meses siguientes, Mark Zuckerberg comenzó a disculparse. Se disculpó por no tomar una visión lo suficientemente amplia de las responsabilidades de Facebook y de sus errores como director general. Internamente, Sheryl Sandberg, directora de operaciones, inició un programa de dos años auditoria de derechos civiles para recomendar formas en que la empresa podría evitar el uso de su plataforma para socavar la democracia.

Finalmente, Mike Schroepfer, director de tecnología de Facebook, le pidió a Quiñonero que formara un equipo con una directiva un poco vaga: examinar el impacto social de los algoritmos de la empresa. El grupo se autodenominó Society and AI Lab (SAIL); el año pasado se combinó con otro equipo que trabajaba en temas de privacidad de datos para formar una IA responsable.

Quiñonero fue una elección natural para el trabajo. Él, más que nadie, fue el responsable de la posición de Facebook como potencia de la IA. En sus seis años en Facebook, creó algunos de los primeros algoritmos para dirigirse a los usuarios con contenido adaptado con precisión a sus intereses, y luego difundió esos algoritmos en toda la empresa. Ahora su mandato sería hacerlos menos dañinos.

Facebook ha señalado constantemente los esfuerzos de Quiñonero y otros en su intento de reparar su reputación. Regularmente saca a relucir a varios líderes para hablar con los medios sobre las reformas en curso. En mayo de 2019, concedió una serie de entrevistas a Schroepfer al New York Times, que premió a la compañía con un perfil humanizador de un ejecutivo sensible y bien intencionado que se esfuerza por superar los desafíos técnicos de filtrar la información errónea y el discurso de odio de un flujo de contenido que asciende a miles de millones de piezas por día. Estos desafíos son tan difíciles que emocionan a Schroepfer, escribió el Times: A veces eso lo hace llorar.

En la primavera de 2020, aparentemente fue mi turno. Ari Entin, director de comunicaciones de IA de Facebook, me preguntó en un correo electrónico si quería profundizar en el trabajo de IA de la empresa. Después de hablar con varios de sus líderes de AI, decidí centrarme en Quiñonero. Entin felizmente obligado. No solo como líder del equipo de IA responsable, sino también como el hombre que había convertido a Facebook en una empresa impulsada por la IA, Quiñonero era una opción sólida para usar como modelo.

A mí también me pareció una elección natural de tema. En los años transcurridos desde que formó su equipo tras el escándalo de Cambridge Analytica, las preocupaciones sobre la propagación de mentiras y discursos de odio en Facebook solo habían aumentado. A finales de 2018 la empresa admitió que esta actividad había ayudó a impulsar una campaña genocida contra los musulmanes en Myanmar durante varios años. En 2020, Facebook comenzó a tomar medidas con retraso contra los negadores del Holocausto, los antivacunas y el movimiento de conspiración QAnon. Todas estas peligrosas falsedades estaban haciendo metástasis gracias a las capacidades de IA que Quiñonero había ayudado a construir. Los algoritmos que sustentan el negocio de Facebook no se crearon para filtrar lo que era falso o incendiario; fueron diseñados para hacer que las personas compartieran e interactuaran con la mayor cantidad de contenido posible mostrándoles cosas que probablemente los indignarían o excitarían. Solucionar este problema, para mí, parecía ser el territorio central de la IA responsable.

Empecé a hacer videollamadas a Quiñonero regularmente. También hablé con ejecutivos de Facebook, empleados actuales y anteriores, colegas de la industria y expertos externos. Muchos hablaron bajo condición de anonimato porque habían firmado acuerdos de confidencialidad o temían represalias. Quería saber: ¿Qué estaba haciendo el equipo de Quiñonero para frenar el odio y la mentira en su plataforma?

Joaquín Quiñonero Candela afuera de su casa en el Área de la Bahía, donde vive con su esposa y sus tres hijos.

WINNI WINTERMEYER

Pero Entin y Quiñonero tenían otra agenda. Cada vez que traté de mencionar estos temas, mis solicitudes para hablar sobre ellos fueron eliminadas o redirigidas. Solo querían discutir el plan del equipo de IA responsable para abordar un tipo específico de problema: el sesgo de IA, en el que los algoritmos discriminan a grupos de usuarios particulares. Un ejemplo sería un algoritmo de segmentación de anuncios que muestre ciertas oportunidades laborales o de vivienda a los blancos, pero no a las minorías.

Cuando miles de alborotadores irrumpieron en el Capitolio de EE. UU. en enero, organizados en parte en Facebook y alimentados por las mentiras sobre unas elecciones robadas que se habían esparcido por la plataforma, quedó claro en mis conversaciones que el equipo de IA responsable no había logrado un avance contra la desinformación y el discurso de odio porque nunca había hecho de esos problemas su foco principal. Me di cuenta de que, más importante aún, si lo intentaba, estaría preparado para fallar.

La razón es simple. Todo lo que la empresa hace y decide no hacer fluye de una única motivación: el implacable deseo de crecimiento de Zuckerberg. La experiencia en IA de Quiñonero impulsó ese crecimiento. Su equipo quedó encasillado en enfocarse en el sesgo de IA, como aprendí en mi informe, porque prevenir ese sesgo ayuda a la empresa a evitar reglamento propuesto que podría, si se aprueba, obstaculizar ese crecimiento. El liderazgo de Facebook también ha debilitado o detenido repetidamente muchas iniciativas destinadas a limpiar la información errónea en la plataforma porque hacerlo socavaría ese crecimiento.

En otras palabras, el trabajo del equipo de IA responsable, independientemente de sus méritos en el problema específico de abordar el sesgo de IA, es esencialmente irrelevante para solucionar los problemas más grandes de desinformación, extremismo y polarización política. Y somos todos los que pagamos el precio.

Cuando estás en el negocio de maximizar el compromiso, no estás interesado en la verdad. No estás interesado en el daño, la división, la conspiración. De hecho, esos son tus amigos, dice Hany Farid, profesor de la Universidad de California, Berkeley, que colabora con Facebook para comprender la información errónea basada en imágenes y videos en la plataforma.

Siempre hacen lo justo para poder publicar el comunicado de prensa. Pero con algunas excepciones, no creo que en realidad se traduzca en mejores políticas. Nunca están realmente lidiando con los problemas fundamentales.

En marzo de 2012, Quiñonero visitó a un amigo en el Área de la Bahía. En ese momento, era gerente en la oficina de Microsoft Research en el Reino Unido y dirigía un equipo que utilizaba el aprendizaje automático para lograr que más visitantes hicieran clic en los anuncios que mostraba el motor de búsqueda de la empresa, Bing. Su experiencia era rara y el equipo tenía menos de un año. El aprendizaje automático, un subconjunto de la IA, aún tenía que demostrar su valía como una solución a los problemas de la industria a gran escala. Pocos gigantes tecnológicos habían invertido en la tecnología.

El amigo de Quiñonero quería presumir de su nuevo empleador, una de las startups más populares de Silicon Valley: Facebook, entonces con ocho años y ya con cerca de mil millones usuarios activos mensuales (es decir, aquellos que han iniciado sesión al menos una vez en los últimos 30 días). Mientras Quiñonero caminaba por la sede de Menlo Park, vio a un ingeniero solitario hacer una actualización importante del sitio web, algo que habría implicado una burocracia significativa en Microsoft. Fue una introducción memorable al espíritu de Zuckerberg Move Fast and Break Things. Quiñonero estaba asombrado por las posibilidades. En una semana, había pasado por entrevistas y firmado una oferta para unirse a la empresa.

Su llegada no podría haber sido más oportuna. El servicio de anuncios de Facebook estaba en medio de una rápida expansión mientras la empresa se preparaba para su oferta pública inicial de mayo. El objetivo era aumentar los ingresos y enfrentarse a Google, que tenía la mayor parte del mercado de la publicidad online. El aprendizaje automático, que podría predecir qué anuncios resonarían mejor con qué usuarios y, por lo tanto, hacerlos más efectivos, podría ser la herramienta perfecta. Poco después de comenzar, Quiñonero fue ascendido a administrar un equipo similar al que había liderado en Microsoft.

Quiñonero comenzó a criar pollos a fines de 2019 como una forma de relajarse de la intensidad de su trabajo.

WINNI WINTERMEYER

A diferencia de los algoritmos tradicionales, que están codificados por ingenieros, los algoritmos de aprendizaje automático se entrenan con los datos de entrada para aprender las correlaciones dentro de ellos. El algoritmo entrenado, conocido como modelo de aprendizaje automático, puede automatizar decisiones futuras. Un algoritmo entrenado con datos de clics en anuncios, por ejemplo, podría descubrir que las mujeres hacen clic en los anuncios de mallas de yoga con más frecuencia que los hombres. El modelo resultante mostrará más de esos anuncios a las mujeres. Hoy, en una empresa basada en IA como Facebook, los ingenieros generan innumerables modelos con ligeras variaciones para ver cuál funciona mejor en un problema determinado.

Las enormes cantidades de datos de usuarios de Facebook le dieron a Quiñonero una gran ventaja. Su equipo pudo desarrollar modelos que aprendieron a inferir la existencia no solo de categorías amplias como mujeres y hombres, sino también de categorías muy detalladas como mujeres de entre 25 y 34 años a las que les gustaban las páginas de Facebook relacionadas con el yoga y los anuncios dirigidos a ellas. Cuanto más detallada sea la orientación, mayores serán las posibilidades de un clic, lo que les daría a los anunciantes más por su dinero.

En un año, su equipo había desarrollado estos modelos, así como las herramientas para diseñar e implementar nuevos más rápidamente. Antes, a los ingenieros de Quiñonero les tomaba de seis a ocho semanas construir, entrenar y probar un nuevo modelo. Ahora tomó sólo uno.

La noticia del éxito se difundió rápidamente. El equipo que trabajó para determinar qué publicaciones verían los usuarios individuales de Facebook en sus fuentes de noticias personales quería aplicar las mismas técnicas. Así como los algoritmos podrían entrenarse para predecir quién haría clic en qué anuncio, también podrían entrenarse para predecir a quién le gustaría o compartiría qué publicación, y luego darles más prominencia a esas publicaciones. Si el modelo determinaba que a una persona realmente le gustaban los perros, por ejemplo, las publicaciones de amigos sobre perros aparecerían más arriba en las noticias de ese usuario.

El éxito de Quiñonero con las noticias, junto con una nueva e impresionante investigación de IA que se está realizando fuera de la empresa, llamó la atención de Zuckerberg y Schroepfer. Facebook ahora tenía poco más de mil millones de usuarios, lo que la hacía más de ocho veces más grande que cualquier otra red social, pero querían saber cómo continuar con ese crecimiento. Los ejecutivos decidieron invertir fuertemente en inteligencia artificial, conectividad a Internet y realidad virtual.

Crearon dos equipos de IA. Uno era FAIR, un laboratorio de investigación fundamental que impulsaría las capacidades de vanguardia de la tecnología. El otro, Applied Machine Learning (AML), integraría esas capacidades en los productos y servicios de Facebook. En diciembre de 2013, después de meses de cortejos y persuasión, los ejecutivos reclutaron a Yann LeCun, uno de los nombres más importantes en el campo, para dirigir FAIR. Tres meses después, Quiñonero fue ascendido nuevamente, esta vez para dirigir AML. (Más tarde pasó a llamarse FAIAR, pronunciado fuego).

Así es como sabes lo que está en su mente. Siempre estuve, durante un par de años, a unos pasos del escritorio de Mark.

Joaquin Quiñonero Candela

En su nuevo cargo, Quiñonero creó una nueva plataforma de desarrollo de modelos a la que cualquier usuario de Facebook puede acceder. Llamado Flujo de aprendizaje de FBL , permitió a los ingenieros con poca experiencia en inteligencia artificial entrenar e implementar modelos de aprendizaje automático en cuestión de días. A mediados de 2016, más de una cuarta parte del equipo de ingeniería de Facebook lo usaba y ya se había utilizado para entrenar a más de un millón de modelos, incluidos modelos para el reconocimiento de imágenes, la orientación de anuncios y la moderación de contenido.

La obsesión de Zuckerberg por hacer que todo el mundo usara Facebook había encontrado una nueva y poderosa arma. Los equipos habían usado previamente tácticas de diseño, como experimentar con el contenido y la frecuencia de las notificaciones, para tratar de enganchar a los usuarios de manera más efectiva. Su objetivo, entre otras cosas, era aumentar una métrica llamada L6/7, la fracción de personas que iniciaron sesión en Facebook seis de los siete días anteriores. L6/7 es solo una de las innumerables formas en que Facebook ha medido el compromiso: la propensión de las personas a usar su plataforma de cualquier manera, ya sea publicando cosas, comentándolas, gustándolas o compartiéndolas, o simplemente mirándolas. Ahora, cada interacción del usuario, una vez analizada por los ingenieros, estaba siendo analizada por algoritmos. Esos algoritmos estaban creando bucles de retroalimentación mucho más rápidos y personalizados para ajustar y adaptar las noticias de cada usuario para seguir aumentando los números de participación.

Zuckerberg, que se sentó en el centro del Edificio 20, la oficina principal de la sede de Menlo Park, colocó a su lado a los nuevos equipos FAIR y AML. Muchas de las contrataciones originales de AI estaban tan cerca que su escritorio y el de ellos prácticamente se tocaban. Era el santuario interior, dice un exlíder de la organización de IA (la rama de Facebook que contiene todos sus equipos de IA), quien recuerda que el director general arrastraba a la gente dentro y fuera de su vecindad a medida que ganaban o perdían su favor. Así es como sabes lo que está en su mente, dice Quiñonero. Siempre estuve, durante un par de años, a unos pasos del escritorio de Mark.

Con nuevos modelos de aprendizaje automático Al estar en línea todos los días, la compañía creó un nuevo sistema para rastrear su impacto y maximizar la participación del usuario. El proceso sigue siendo el mismo hoy. Los equipos entrenan un nuevo modelo de aprendizaje automático en FBLearner, ya sea para cambiar el orden de clasificación de las publicaciones o para capturar mejor el contenido que viola los estándares de la comunidad de Facebook (sus reglas sobre lo que está y no está permitido en la plataforma). Luego, prueban el nuevo modelo en un pequeño subconjunto de usuarios de Facebook para medir cómo cambia las métricas de participación, como la cantidad de Me gusta, comentarios y acciones compartidas, dice Krishna Gade, quien se desempeñó como gerente de ingeniería para noticias de 2016 a 2018. .

Si un modelo reduce demasiado el compromiso, se descarta. De lo contrario, se implementa y se supervisa continuamente. En Twitter, Gade explicado que sus ingenieros recibirían notificaciones cada pocos días cuando las métricas como me gusta o comentarios estuvieran bajas. Luego descifrarían qué había causado el problema y si algún modelo necesitaba reentrenamiento.

Pero este enfoque pronto causó problemas. Los modelos que maximizan el compromiso también favorecen la controversia, la desinformación y el extremismo: en pocas palabras, a la gente simplemente le gustan las cosas escandalosas. A veces esto inflama las tensiones políticas existentes. El ejemplo más devastador hasta la fecha es el caso de Myanmar, donde las noticias falsas virales y el discurso de odio sobre la minoría musulmana rohingya escalaron el conflicto religioso del país hasta convertirlo en un genocidio en toda regla. Facebook admitido en 2018 , después de años de minimizar su papel, que no había hecho lo suficiente para ayudar a evitar que nuestra plataforma fuera utilizada para fomentar la división e incitar a la violencia fuera de línea.

Si bien es posible que Facebook no haya sido consciente de estas consecuencias al principio, las estaba estudiando en 2016. En una presentación interna de ese año, revisada por el periodico de Wall Street , una investigadora de la empresa, Monica Lee, descubrió que Facebook no solo albergaba una gran cantidad de grupos extremistas, sino que también los promocionaba entre sus usuarios: el 64% de todas las uniones a grupos extremistas se deben a nuestras herramientas de recomendación, según la presentación, principalmente gracias a los modelos detrás de las funciones Grupos a los que debe unirse y Descubrir.

La pregunta para el liderazgo era: ¿Deberíamos optimizar para el compromiso si encuentra que alguien está en un estado mental vulnerable?

Un ex investigador de IA que se unió en 2018

En 2017, Chris Cox, director de productos de Facebook desde hace mucho tiempo, formó un nuevo grupo de trabajo para comprender si maximizar la participación de los usuarios en Facebook estaba contribuyendo a la polarización política. Descubrió que, de hecho, había una correlación, y que reducir la polarización significaría recibir un golpe en el compromiso. En un documento de mediados de 2018 revisado por el Journal, el grupo de trabajo propuso varias soluciones potenciales, como ajustar los algoritmos de recomendación para sugerir una gama más diversa de grupos para que las personas se unan. Pero reconoció que algunas de las ideas estaban en contra del crecimiento. La mayoría de las propuestas no avanzaron y el grupo de trabajo se disolvió.

Desde entonces, otros empleados han corroborado estos hallazgos. Un exinvestigador de inteligencia artificial de Facebook que se unió en 2018 dice que él y su equipo realizaron estudio tras estudio para confirmar la misma idea básica: los modelos que maximizan el compromiso aumentan la polarización. Podían rastrear fácilmente el grado de acuerdo o desacuerdo de los usuarios sobre diferentes temas, con qué contenido les gustaba interactuar y cómo cambiaban sus posturas como resultado. Independientemente del problema, los modelos aprendieron a alimentar a los usuarios con puntos de vista cada vez más extremos. Con el tiempo ellos hasta cierto grado polarizarse más, dice.

El equipo del investigador también descubrió que los usuarios con tendencia a publicar o interactuar con contenido melancólico, un posible signo de depresión, podrían caer fácilmente en el consumo de material cada vez más negativo que podría empeorar aún más su salud mental. El equipo propuso ajustar los modelos de clasificación de contenido para que estos usuarios dejaran de maximizar la participación solos, de modo que se les mostraran menos cosas deprimentes. La pregunta para el liderazgo era: ¿Deberíamos optimizar para el compromiso si encuentra que alguien está en un estado mental vulnerable? él recuerda. (Una portavoz de Facebook dijo que no pudo encontrar documentación para esta propuesta).

Historia relacionada

La realidad desordenada y secreta detrás de la oferta de OpenAI para salvar el mundo AI moonshot se fundó con el espíritu de transparencia. Esta es la historia interna de cómo la presión competitiva erosionó ese idealismo.

Pero cualquier cosa que redujera el compromiso, incluso por razones tales como no exacerbar la depresión de alguien, provocó muchos titubeos y vacilaciones entre los líderes. Con sus revisiones de desempeño y salarios vinculados a la finalización exitosa de los proyectos, los empleados aprendieron rápidamente a dejar aquellos que recibieron rechazo y continuar trabajando en los dictados de arriba hacia abajo.

Uno de esos proyectos fuertemente impulsado por los líderes de la compañía implicaba predecir si un usuario podría estar en riesgo de algo que varias personas ya habían hecho: transmitir en vivo su propio suicidio en Facebook Live. La tarea consistía en construir un modelo. para analizar los comentarios que otros usuarios estaban publicando en un video después de que se había publicado, y llamando la atención de los revisores capacitados de la comunidad de Facebook sobre los usuarios en riesgo que podían llamar a los servicios de emergencia locales para realizar una verificación de bienestar. No requirió ningún cambio en los modelos de clasificación de contenido, tuvo un impacto insignificante en el compromiso y se defendió de manera efectiva de la prensa negativa. También fue casi imposible, dice el investigador: es más un truco de relaciones públicas. La eficacia de tratar de determinar si alguien se va a suicidar en los próximos 30 segundos, según los primeros 10 segundos del análisis de video, no será muy efectivo.

Facebook cuestiona esta caracterización, diciendo que el equipo que trabajó en este esfuerzo desde entonces predijo con éxito qué usuarios estaban en riesgo y aumentó la cantidad de controles de bienestar realizados. Pero la compañía no publica datos sobre la precisión de sus predicciones o cuántos controles de bienestar resultaron ser emergencias reales.

Ese ex empleado, mientras tanto, ya no deja que su hija use Facebook.

Quiñonero debió haber sido perfectamente posicionado para abordar estos problemas cuando creó el equipo SAIL (más tarde IA responsable) en abril de 2018. Su tiempo como director de Applied Machine Learning lo hizo familiarizarse íntimamente con los algoritmos de la compañía, especialmente los que se usan para recomendar publicaciones, anuncios, y otros contenidos a los usuarios.

También parecía que Facebook estaba listo para tomar estos problemas en serio. Mientras que los esfuerzos anteriores para trabajar en ellos se habían dispersado por toda la empresa, a Quiñonero ahora se le otorgaba un equipo centralizado con libertad de acción en su mandato para trabajar en lo que considerara adecuado en la intersección de la IA y la sociedad.

En ese momento, Quiñonero estaba inmerso en su propia reeducación sobre cómo ser un tecnólogo responsable. El campo de la investigación de la IA estaba prestando cada vez más atención a los problemas de sesgo y responsabilidad de la IA a raíz de estudios de alto perfil que mostraban que, por ejemplo, un algoritmo calificaba a los acusados ​​negros como más probabilidades de ser arrestado de nuevo que los acusados ​​blancos que habían sido arrestados por el mismo delito o uno más grave. Quiñonero comenzó a estudiar la literatura científica sobre equidad algorítmica, leyendo libros sobre ingeniería ética e historia de la tecnología, y hablando con expertos en derechos civiles y filósofos morales.

WINNI WINTERMEYER

Durante las muchas horas que pasé con él, me di cuenta de que se lo tomaba en serio. Se había unido a Facebook en medio de la Primavera Árabe, una serie de revoluciones contra los regímenes opresores del Medio Oriente. Los expertos elogiaron a las redes sociales por difundir la información que impulsó los levantamientos y brindarles a las personas herramientas para organizarse. Nacido en España pero criado en Marruecos, donde había visto de primera mano la supresión de la libertad de expresión, Quiñonero sintió una intensa conexión con el potencial de Facebook como una fuerza para el bien.

Seis años después, Cambridge Analytica había amenazado con revocar esta promesa. La controversia lo obligó a confrontar su fe en la empresa y examinar qué significaría quedarse para su integridad. Creo que lo que le sucede a la mayoría de las personas que trabajan en Facebook, y definitivamente ha sido mi historia, es que no hay límites entre Facebook y yo, dice. Es extremadamente personal. Pero decidió quedarse y encabezar SAIL porque creía que podía hacer más por el mundo ayudando a cambiar la empresa que dejándola atrás.

Creo que si estás en una empresa como Facebook, especialmente en los últimos años, realmente te das cuenta del impacto que tus productos tienen en la vida de las personas: en lo que piensan, cómo se comunican, cómo interactúan entre sí, dice Quiñonero. viejo amigo Zoubin Ghahramani, que ayuda a dirigir el equipo de Google Brain. Sé que Joaquín se preocupa profundamente por todos los aspectos de esto. Como alguien que se esfuerza por lograr algo mejor y mejorar las cosas, ve el papel importante que puede tener en la configuración tanto del pensamiento como de las políticas en torno a la IA responsable.

Al principio, SAIL tenía solo cinco personas, que provenían de diferentes partes de la empresa, pero todas estaban interesadas en el impacto social de los algoritmos. Una miembro fundadora, Isabel Kloumann, científica investigadora que provenía del equipo central de ciencia de datos de la empresa, trajo consigo una versión inicial de una herramienta para medir el sesgo en los modelos de IA.

El equipo también hizo una lluvia de ideas sobre muchas otras ideas para proyectos. El exlíder de la organización AI, que estuvo presente en algunas de las primeras reuniones de SAIL, recuerda una propuesta para combatir la polarización. Involucró el uso de análisis de sentimientos, una forma de aprendizaje automático que interpreta la opinión en fragmentos de texto, para identificar mejor los comentarios que expresaban puntos de vista extremos. Estos comentarios no se eliminarían, pero se ocultarían de forma predeterminada con una opción para revelarlos, lo que limitaría la cantidad de personas que los verían.

Y hubo discusiones sobre qué papel podría desempeñar SAIL dentro de Facebook y cómo debería evolucionar con el tiempo. El sentimiento era que el equipo primero produciría pautas de IA responsable para decirles a los equipos de productos lo que deberían o no deberían hacer. Pero la esperanza era que, en última instancia, sirviera como el centro central de la empresa para evaluar los proyectos de IA y detener aquellos que no seguían las pautas.

Los exempleados describieron, sin embargo, lo difícil que podía ser conseguir apoyo financiero cuando el trabajo no mejoraba directamente el crecimiento de Facebook. Por su naturaleza, el equipo era no pensando en el crecimiento, y en algunos casos estaba proponiendo ideas contrarias al crecimiento. Como resultado, recibió pocos recursos y languideció. Muchas de sus ideas se mantuvieron en gran parte académicas.

El 29 de agosto de 2018, eso cambió de repente. En el período previo a las elecciones intermedias de EE. UU., el presidente Donald Trump y otros líderes republicanos aumentaron las acusaciones que Facebook, Twitter y Google tenían un sesgo anticonservador. Afirmaron que los moderadores de Facebook en particular, al aplicar los estándares de la comunidad, estaban suprimiendo las voces conservadoras más que las liberales. Este cargo sería más tarde ser desacreditado , pero el hashtag #StopTheBias , impulsado por un tuit de Trump, se difundió rápidamente en las redes sociales.

Para Trump, fue el último esfuerzo por sembrar desconfianza en los principales canales de distribución de información del país. Para Zuckerberg, amenazaba con alienar a los usuarios estadounidenses conservadores de Facebook y hacer que la empresa fuera más vulnerable a la regulación de un gobierno liderado por republicanos. En otras palabras, amenazaba el crecimiento de la empresa.

Facebook no me concedió una entrevista con Zuckerberg, pero anterior reportando posee mostrado cómo complació cada vez más a Trump y al liderazgo republicano. Después de que Trump fuera elegido, Joel Kaplan, vicepresidente de políticas públicas globales de Facebook y su republicano de más alto rango, aconsejó a Zuckerberg que anduviera con cuidado en el nuevo entorno político.

El 20 de septiembre de 2018, tres semanas después del tuit #StopTheBias de Trump, Zuckerberg se reunió con Quiñonero por primera vez desde la creación de SAIL. Quería saber todo lo que Quiñonero había aprendido sobre el sesgo de la IA y cómo anularlo en los modelos de moderación de contenido de Facebook. Al final de la reunión, una cosa estaba clara: el sesgo de AI ahora era la principal prioridad de Quiñonero. El liderazgo ha sido muy, muy insistente para asegurarse de que escalamos esto de manera agresiva, dice Rachad Alao, el director de ingeniería de AI responsable que se unió en abril de 2019.

Fue una victoria para todos en la sala. Zuckerberg encontró una manera de evitar los cargos de sesgo anticonservador. Y Quiñonero ahora tenía más dinero y un equipo más grande para mejorar la experiencia general de Facebook para los usuarios. Podrían aprovechar la herramienta existente de Kloumann para medir y corregir el supuesto sesgo anticonservador en los modelos de moderación de contenido, así como para corregir otros tipos de sesgo en la gran mayoría de los modelos de la plataforma.

Esto podría ayudar a evitar que la plataforma discrimine involuntariamente a ciertos usuarios. Para entonces, Facebook ya tenía miles de modelos ejecutándose simultáneamente y casi ninguno había sido medido por sesgo. Eso lo metería en problemas legales unos meses más tarde con el Departamento de Vivienda y Desarrollo Urbano (HUD) de EE. UU., que alegó que los algoritmos de la compañía estaban infiriendo atributos protegidos como la raza de los datos de los usuarios y mostrándoles anuncios de vivienda basados ​​en esos atributos. —una forma ilegal de discriminación. (La demanda aún está pendiente). Schroepfer también predijo que el Congreso pronto aprobaría leyes para regular la discriminación algorítmica , por lo tanto, Facebook necesitaba avanzar en estos esfuerzos de todos modos.

(Facebook cuestiona la idea de que prosiguió su trabajo sobre el sesgo de la IA para proteger el crecimiento o anticipándose a la regulación. Creamos el equipo de IA responsable porque era lo correcto, dijo un portavoz).

Pero reducir el enfoque de SAIL a la equidad algorítmica dejaría de lado todos los demás problemas algorítmicos de larga data de Facebook. Sus modelos de recomendación de contenido continuarían enviando publicaciones, noticias y grupos a los usuarios en un esfuerzo por maximizar la participación, recompensando el contenido extremista y contribuyendo a un discurso político cada vez más fragmentado.

Zuckerberg incluso lo admitió. Dos meses después de la reunión con Quiñonero, en una nota publica al describir los planes de Facebook para la moderación de contenido, ilustró los efectos nocivos de la estrategia de participación de la empresa con un gráfico simplificado. Demostró que cuanto más probable es que una publicación viole los estándares de la comunidad de Facebook, más participación recibe el usuario, porque los algoritmos que maximizan la participación recompensan el contenido incendiario.

FACEBOOK

Pero luego mostró otro gráfico con la relación inversa. En lugar de recompensar el contenido que estuvo cerca de violar los estándares de la comunidad, escribió Zuckerberg, Facebook podría optar por comenzar a penalizarlo, dándole menos distribución y participación en lugar de más. ¿Cómo se haría esto? Con más IA. Facebook desarrollaría mejores modelos de moderación de contenido para detectar este contenido límite, de modo que pudiera ser empujado retroactivamente más abajo en las noticias para eliminar su viralidad, dijo.

FACEBOOK

El problema es que, a pesar de todas las promesas de Zuckerberg, esta estrategia es, en el mejor de los casos, tenue.

La desinformación y el discurso de odio evolucionan constantemente. Surgen nuevas falsedades; nuevas personas y grupos se convierten en objetivos. Para detectar cosas antes de que se vuelvan virales, los modelos de moderación de contenido deben poder identificar contenido nuevo no deseado con gran precisión. Pero los modelos de aprendizaje automático no funcionan de esa manera. Un algoritmo que ha aprendido a reconocer la negación del Holocausto no puede detectar inmediatamente, por ejemplo, la negación del genocidio rohingya. Debe entrenarse con miles, a menudo incluso millones, de ejemplos de un nuevo tipo de contenido antes de aprender a filtrarlo. Incluso entonces, los usuarios pueden aprender rápidamente a burlar al modelo haciendo cosas como cambiar la redacción de una publicación o reemplazar frases incendiarias con eufemismos, haciendo que su mensaje sea ilegible para la IA mientras que sigue siendo obvio para un humano. Esta es la razón por la que las nuevas teorías de la conspiración pueden salirse rápidamente de control y, en parte, por la que, incluso después de que dicho contenido esté prohibido, algunas formas de este poder persistir en la plataforma.

En su perfil del New York Times, Schroepfer nombró estas limitaciones de la estrategia de moderación de contenido de la empresa. Cada vez que el Sr. Schroepfer y sus más de 150 especialistas en ingeniería crean A.I. soluciones que marcan y silencian material nocivo, publicaciones nuevas y dudosas que la IA. sistemas nunca antes vistos emergen y, por lo tanto, no son atrapados, escribió el Times. Nunca llegará a cero, dijo Schroepfer a la publicación.

Mientras tanto, los algoritmos que recomiendan este contenido siguen funcionando para maximizar la participación. Esto significa que todas las publicaciones tóxicas que escapen a los filtros de moderación de contenido seguirán apareciendo más arriba en las noticias y se promocionarán para llegar a un público más amplio. De hecho, un estudio de la Universidad de Nueva York descubrió recientemente que entre las páginas de Facebook de los editores partidistas, aquellos que publicaban regularmente información política errónea recibieron la mayor participación en el período previo a las elecciones presidenciales de EE. UU. de 2020 y los disturbios en el Capitolio. Eso me atrapó, dice un ex empleado que trabajó en problemas de integridad de 2018 a 2019. Lo reconocemos plenamente y, sin embargo, seguimos aumentando el compromiso.

Pero el equipo SAIL de Quiñonero no estaba trabajando en este problema. Debido a las preocupaciones de Kaplan y Zuckerberg sobre alienar a los conservadores, el equipo se mantuvo enfocado en el sesgo. E incluso después de fusionarse con el equipo más grande de IA responsable, nunca se le ordenó trabajar en sistemas de recomendación de contenido que pudieran limitar la difusión de información errónea. Tampoco ningún otro equipo, como confirmé después de que Entin y otro portavoz me dieran una lista completa de todas las demás iniciativas de Facebook sobre cuestiones de integridad, el término general de la empresa para problemas que incluyen información errónea, discurso de odio y polarización.

Historia relacionada

Empecé a llorar: dentro de los últimos días de Timnit Gebru en Google, y lo que sucede después .

Un portavoz de Facebook dijo: El trabajo no lo realiza un equipo específico porque no es así como opera la empresa. En cambio, se distribuye entre los equipos que tienen la experiencia específica para abordar cómo la clasificación del contenido afecta la información errónea para su parte de la plataforma, dijo. Pero Schroepfer me dijo precisamente lo contrario en una entrevista anterior. Le pregunté por qué había creado un equipo de IA responsable centralizado en lugar de dirigir a los equipos existentes para que progresen en el tema. Dijo que era la mejor práctica en la empresa.

[Si] es un área importante, debemos avanzar rápido en ella, no está bien definida, [creamos] un equipo dedicado y obtenemos el liderazgo adecuado, dijo. A medida que un área crece y madura, verá que los equipos de productos asumen más trabajo, pero aún se necesita el equipo central porque necesita mantenerse al día con el trabajo de vanguardia.

Cuando describí el trabajo del equipo de IA Responsable a otros expertos en ética y derechos humanos de IA, notaron la incongruencia entre los problemas que estaba abordando y aquellos, como la desinformación, por los que Facebook es más notorio. Esto parece extrañamente eliminado de Facebook como producto: las cosas que construye Facebook y las preguntas sobre el impacto en el mundo que enfrenta Facebook, dijo Rumman Chowdhury, cuya empresa emergente, Paridad , asesora a empresas sobre el uso responsable de la IA, y fue adquirido por Twitter después de nuestra entrevista. Le había mostrado a Chowdhury la documentación del equipo Quiñonero detallando su trabajo. Me sorprende que hablemos de inclusión, justicia, equidad y no hablemos de los problemas muy reales que suceden hoy en día, dijo.

Parece que el marco de la 'IA responsable' es completamente subjetivo a lo que una empresa decide que le importa. Es como, 'inventaremos los términos y luego los seguiremos', dice Ellery Roberts Biddle, directora editorial de Ranking Digital Rights, una organización sin fines de lucro que estudia el impacto de las empresas tecnológicas en los derechos humanos. Ni siquiera entiendo lo que quieren decir cuando hablan de justicia. ¿Creen que es justo recomendar que la gente se una a grupos extremistas, como los que asaltaron el Capitolio? Si todos reciben la recomendación, ¿significa que fue justo?

Estamos en un lugar donde hay un genocidio [Myanmar] que la ONU, con mucha evidencia, ha podido señalar específicamente a Facebook y a la forma en que la plataforma promueve el contenido, agrega Biddle. ¿Cuánto más pueden subir las apuestas?

En los últimos dos años, El equipo de Quiñonero ha construido la herramienta original de Kloumann, llamada Fairness Flow. Permite a los ingenieros medir la precisión de los modelos de aprendizaje automático para diferentes grupos de usuarios. Pueden comparar la precisión de un modelo de detección de rostros en diferentes edades, géneros y tonos de piel, o la precisión de un algoritmo de reconocimiento de voz en diferentes idiomas, dialectos y acentos.

Fairness Flow también viene con un conjunto de pautas para ayudar a los ingenieros a comprender lo que significa entrenar un modelo justo. Uno de los problemas más espinosos de hacer que los algoritmos sean justos es que hay diferentes definiciones de justicia , que pueden ser mutuamente incompatibles. Fairness Flow enumera cuatro definiciones que los ingenieros pueden usar según la que mejor se adapte a su propósito, por ejemplo, si un modelo de reconocimiento de voz reconoce todos los acentos con la misma precisión o con un umbral mínimo de precisión.

Pero probar algoritmos para la imparcialidad sigue siendo en gran medida opcional en Facebook. Ninguno de los equipos que trabajan directamente en las noticias, el servicio de anuncios u otros productos de Facebook están obligados a hacerlo. Los incentivos de pago todavía están vinculados a las métricas de compromiso y crecimiento. Y si bien existen pautas sobre qué definición de equidad usar en una situación determinada, no se aplican.

Este último problema salió a la luz cuando la empresa tuvo que lidiar con acusaciones de sesgo anticonservador.

En 2014, Kaplan fue ascendido de jefe de políticas de EE. UU. a vicepresidente global de políticas, y comenzó a desempeñar un papel más duro en la moderación del contenido y las decisiones sobre cómo clasificar las publicaciones en las fuentes de noticias de los usuarios. Después de que los republicanos comenzaron a expresar sus afirmaciones de sesgo anticonservador en 2016, su equipo comenzó a revisar manualmente el impacto de los modelos de detección de información errónea en los usuarios para garantizar, entre otras cosas, que no penalizaran de manera desproporcionada a los conservadores.

Todos los usuarios de Facebook tienen unos 200 rasgos adjuntos a su perfil. Estos incluyen varias dimensiones enviadas por los usuarios o estimadas por modelos de aprendizaje automático, como la raza, las inclinaciones políticas y religiosas, la clase socioeconómica y el nivel de educación. El equipo de Kaplan comenzó a usar las características para ensamblar segmentos de usuarios personalizados que reflejaban intereses en gran medida conservadores: usuarios que interactuaban con contenido, grupos y páginas conservadores, por ejemplo. Luego, realizaron análisis especiales para ver cómo las decisiones de moderación de contenido afectarían las publicaciones de esos segmentos, según un ex investigador cuyo trabajo estuvo sujeto a esas revisiones.

La documentación de Fairness Flow, que el equipo de IA responsable escribió más tarde, incluye un estudio de caso sobre cómo usar la herramienta en tal situación. Al decidir si un modelo de desinformación es justo con respecto a la ideología política, el equipo escribió, la justicia no no significa que el modelo debería afectar a los usuarios conservadores y liberales por igual. Si los conservadores publican una mayor fracción de información errónea, a juzgar por el consenso público, entonces el modelo debería señalar una mayor fracción de contenido conservador. Si los liberales publican más información errónea, también deberían marcar su contenido con más frecuencia.

Pero los miembros del equipo de Kaplan siguieron exactamente el enfoque opuesto: entendieron que la equidad significaba que estos modelos no deberían afectar a los conservadores más que a los liberales. Cuando un modelo lo hacía, detenían su despliegue y exigían un cambio. Una vez bloquearon un detector de desinformación médica que había reducido notablemente el alcance de las campañas contra las vacunas, me dijo el exinvestigador. Les dijeron a los investigadores que el modelo no podía implementarse hasta que el equipo corrigiera esta discrepancia. Pero eso efectivamente hizo que el modelo no tuviera sentido. No tiene sentido, entonces, dice el investigador. Un modelo modificado de esa manera literalmente no tendría ningún impacto en el problema real de la desinformación.

Ni siquiera entiendo lo que quieren decir cuando hablan de justicia. ¿Creen que es justo recomendar que la gente se una a grupos extremistas, como los que asaltaron el Capitolio? Si todos reciben la recomendación, ¿significa que fue justo?

Ellery Roberts Biddle, directora editorial de Ranking Digital Rights

Esto sucedió innumerables veces, y no solo por la moderación del contenido. En 2020, el El Correo de Washington informó que el equipo de Kaplan había socavado los esfuerzos para mitigar la interferencia electoral y la polarización dentro de Facebook, diciendo que podrían contribuir al sesgo anticonservador. En 2018, utilizó el mismo argumento para archivar un proyecto para editar los modelos de recomendación de Facebook a pesar de que los investigadores creían que reduciría la división en la plataforma, según el periodico de Wall Street . Sus afirmaciones sobre el sesgo político también debilitaron una propuesta para editar los modelos de clasificación para las noticias que los científicos de datos de Facebook creían que fortalecerían la plataforma contra las tácticas de manipulación que Rusia había usado durante las elecciones estadounidenses de 2016.

Y antes de las elecciones de 2020, los ejecutivos de políticas de Facebook usaron esta excusa, según los New York Times , para vetar o debilitar varias propuestas que habrían reducido la difusión de contenidos de odio y lesivos.

Facebook cuestionó los informes del Wall Street Journal en un blog de seguimiento publicación, y desafió la caracterización del New York Times en una entrevista con la publicación. Un portavoz del equipo de Kaplan también me negó que se tratara de un patrón de comportamiento y dijo que los casos informados por el Post, el Journal y el Times eran instancias individuales que creemos que luego se caracterizan erróneamente. Se negó a comentar sobre el reentrenamiento de modelos de desinformación en el registro.

Muchos de estos incidentes ocurrieron antes de que se adoptara Fairness Flow. Pero muestran cómo la búsqueda de la justicia por parte de Facebook al servicio del crecimiento ya había tenido un alto costo para avanzar en los otros desafíos de la plataforma. Y si los ingenieros usaran la definición de equidad que había adoptado el equipo de Kaplan, Fairness Flow podría simplemente sistematizar el comportamiento que recompensaba la información errónea en lugar de ayudar a combatirla.

A menudo, todo el asunto de la equidad entraba en juego solo como una forma conveniente de mantener el status quo, dice el ex investigador: Parece ir en contra de las cosas que Mark decía públicamente en términos de ser justo y equitativo.

La última vez que hablé con Quiñonero Fue un mes después de los disturbios en el Capitolio de los Estados Unidos. Quería saber cómo el asalto al Congreso había afectado su forma de pensar y la dirección de su trabajo.

En la videollamada, fue como siempre: Quiñonero marcando desde la oficina de su casa en una ventana y Entin, su contacto de relaciones públicas, en otra. Le pregunté a Quiñonero qué papel creía que había jugado Facebook en los disturbios y si cambiaba la tarea que veía para la IA responsable. Después de una larga pausa, eludió la pregunta y se lanzó a una descripción del trabajo reciente que había realizado para promover una mayor diversidad e inclusión entre los equipos de IA.

Le volví a hacer la pregunta. Su cámara del Portal de Facebook, que usa algoritmos de visión por computadora para rastrear al orador, comenzó a acercarse lentamente a su rostro a medida que se quedaba quieto. No sé si tengo una respuesta fácil a esa pregunta, Karen, dijo. Es una pregunta extremadamente difícil de hacerme.

Entin, que había estado caminando rápidamente con una cara de póquer estoica, agarró una bola antiestrés roja.

Le pregunté a Quiñonero por qué su equipo no había buscado previamente formas de editar los modelos de clasificación de contenido de Facebook para reprimir la desinformación y el extremismo. Me dijo que era trabajo de otros equipos (aunque ninguno, como confirmé, ha recibido el mandato de trabajar en esa tarea). No es factible que el equipo de IA responsable estudie todas esas cosas nosotros mismos, dijo. Cuando le pregunté si consideraría que su equipo abordara esos problemas en el futuro, admitió vagamente que estaría de acuerdo con usted en que ese será el alcance de este tipo de conversaciones.

Cerca del final de nuestra entrevista de una hora, comenzó a enfatizar que a menudo se pintaba injustamente a la IA como la culpable. Independientemente de si Facebook usó IA o no, dijo, la gente aún diría mentiras y discursos de odio, y ese contenido aún se difundiría por toda la plataforma.

Lo presioné una vez más. Ciertamente, no podía creer que los algoritmos no hubieran hecho absolutamente nada para cambiar la naturaleza de estos problemas, dije.

No lo sé, dijo con un tartamudeo entrecortado. Luego repitió, con más convicción: Esa es mi respuesta honesta. Honesto a Dios. No sé.

Correcciones: Modificamos una línea que sugería que Joel Kaplan, vicepresidente de política global de Facebook, había usado Fairness Flow. El no ha. Pero los miembros de su equipo han usado la noción de equidad para solicitar el reentrenamiento de los modelos de desinformación en formas que contradicen directamente las pautas de Responsible AI. También aclaramos cuando Rachad Alao, director de ingeniería de Responsible AI , se unió a la empresa.