211service.com
El denunciante de Facebook dice que sus algoritmos son peligrosos. Este es el por qué.
La denunciante de Facebook Frances Haugen testifica durante un comité del Senado el 5 de octubre. Drew Angerer/Getty Images
El domingo por la noche, la fuente principal de la Archivos de Facebook del Wall Street Journal , una serie de investigación basada en documentos internos de Facebook, reveló su identidad en un episodio de 60 minutos .
Frances Haugen, exgerente de productos de la compañía, dice que se presentó después de ver que el liderazgo de Facebook priorizaba repetidamente las ganancias sobre la seguridad.
Antes de renunciar en mayo de este año, revisó Facebook Workplace, la red social interna de los empleados de la empresa, y recopiló una gran cantidad de informes internos e investigaciones en un intento de demostrar de manera concluyente que Facebook había optado deliberadamente por no solucionar los problemas en su plataforma.
Hoy testificó frente al Senado sobre el impacto de Facebook en la sociedad. Reiteró muchos de los hallazgos de la investigación interna e imploró al Congreso que actuara.
Historia relacionada
Cómo Facebook se volvió adicto a difundir información errónea Los algoritmos de inteligencia artificial de la compañía le dieron un hábito insaciable de mentiras y discursos de odio. Ahora el hombre que los construyó no puede solucionar el problema.
Estoy aquí hoy porque creo que los productos de Facebook dañan a los niños, alimentan la división y debilitan nuestra democracia, dijo en su discurso de apertura ante los legisladores. Estos problemas tienen solución. Una red social más segura, respetuosa con la libertad de expresión y más agradable es posible. Pero hay una cosa que espero que todos se lleven de estas revelaciones, es que Facebook puede cambiar, pero claramente no lo hará por sí solo.
Durante su testimonio, Haugen culpó particularmente a las decisiones de diseño de plataformas y algoritmos de Facebook por muchos de sus problemas. Este es un cambio notable del enfoque existente de los legisladores sobre la censura y la política de contenido de Facebook: lo que pertenece y no pertenece a Facebook. Muchos expertos creen que esta visión limitada conduce a una estrategia de golpear al topo que pasa por alto el panorama general.
Soy un firme defensor de las soluciones no basadas en contenido, porque esas soluciones protegerán a las personas más vulnerables del mundo, dijo Haugen, señalando la capacidad desigual de Facebook para hacer cumplir su política de contenido en idiomas distintos al inglés.
El testimonio de Haugen se hace eco de muchos de los hallazgos de una investigación de MIT Technology Review publicado a principios de este año, que se basó en docenas de entrevistas con ejecutivos de Facebook, empleados actuales y anteriores, colegas de la industria y expertos externos. Reunimos las partes más relevantes de nuestra investigación y otros informes para dar más contexto al testimonio de Haugen.
¿Cómo funciona el algoritmo de Facebook?
Coloquialmente, usamos el término algoritmo de Facebook como si solo hubiera uno. De hecho, Facebook decide cómo orientar los anuncios y clasificar el contenido en función de cientos, quizás miles, de algoritmos. Algunos de esos algoritmos descubren las preferencias de un usuario y aumentan ese tipo de contenido en las noticias del usuario. Otros son para detectar tipos específicos de contenido malo, como desnudez, spam o titulares de clickbait, y eliminarlos o empujarlos hacia abajo en el feed.
Todos estos algoritmos se conocen como algoritmos de aprendizaje automático. como yo escribió a principios de este año :
A diferencia de los algoritmos tradicionales, que están codificados por ingenieros, los algoritmos de aprendizaje automático se entrenan con los datos de entrada para aprender las correlaciones dentro de ellos. El algoritmo entrenado, conocido como modelo de aprendizaje automático, puede automatizar decisiones futuras. Un algoritmo entrenado con datos de clics en anuncios, por ejemplo, podría descubrir que las mujeres hacen clic en los anuncios de mallas de yoga con más frecuencia que los hombres. El modelo resultante mostrará más de esos anuncios a las mujeres.
Y debido a la enorme cantidad de datos de usuario de Facebook, puede
desarrollar modelos que aprendieron a inferir la existencia no solo de categorías amplias como mujeres y hombres, sino también de categorías muy detalladas como mujeres de entre 25 y 34 años a las que les gustaban las páginas de Facebook relacionadas con el yoga y [dirigir] los anuncios a ellas. Cuanto más detallada sea la orientación, mayores serán las posibilidades de un clic, lo que les daría a los anunciantes más por su dinero.
Se aplican los mismos principios para clasificar el contenido en las noticias:
Así como los algoritmos [pueden] entrenarse para predecir quién haría clic en qué anuncio, también [pueden] entrenarse para predecir a quién le gustaría o compartir qué publicación, y luego darles más prominencia a esas publicaciones. Si el modelo determinaba que a una persona realmente le gustaban los perros, por ejemplo, las publicaciones de amigos sobre perros aparecerían más arriba en las noticias de ese usuario.
Antes de que Facebook comenzara a usar algoritmos de aprendizaje automático, los equipos usaban tácticas de diseño para aumentar la participación. Experimentarían con cosas como el color de un botón o la frecuencia de las notificaciones para que los usuarios regresen a la plataforma. Pero los algoritmos de aprendizaje automático crean un circuito de retroalimentación mucho más poderoso. No solo pueden personalizar lo que ve cada usuario, sino que también continuarán evolucionando con las preferencias cambiantes de un usuario, mostrando perpetuamente a cada persona lo que los mantendrá más interesados.
¿Quién ejecuta el algoritmo de Facebook?
Dentro de Facebook, no hay un equipo a cargo de este sistema de clasificación de contenido en su totalidad. Los ingenieros desarrollan y agregan sus propios modelos de aprendizaje automático a la mezcla, en función de los objetivos de su equipo. Por ejemplo, los equipos centrados en eliminar o degradar contenido incorrecto, conocidos como equipos de integridad, solo entrenarán modelos para detectar diferentes tipos de contenido incorrecto.
Esta fue una decisión que Facebook tomó desde el principio como parte de su cultura de moverse rápido y romper cosas. Desarrolló una herramienta interna conocida como Flujo de aprendizaje de FBL eso facilitó a los ingenieros sin experiencia en aprendizaje automático desarrollar cualquier modelo que necesitaran a su disposición. Según un punto de datos, ya estaba en uso por más de una cuarta parte del equipo de ingeniería de Facebook en 2016.
Historia relacionada
Arriesgó todo para exponer Facebook. Ahora ella está contando su historia. Sophie Zhang, ex científica de datos de Facebook, reveló que permite la manipulación política global y ha hecho poco para detenerlo.
Muchos de los empleados actuales y anteriores de Facebook con los que he hablado dicen que esto es parte de por qué Facebook parece no poder controlar lo que ofrece a los usuarios en las noticias. Los diferentes equipos pueden tener objetivos competitivos, y el sistema se ha vuelto tan complejo y difícil de manejar que ya nadie puede realizar un seguimiento de todos sus diferentes componentes.
Como resultado, el principal proceso de control de calidad de la empresa es a través de la experimentación y la medición. Como escribí:
Los equipos entrenan un nuevo modelo de aprendizaje automático en FBLearner, ya sea para cambiar el orden de clasificación de las publicaciones o para capturar mejor el contenido que viola los estándares de la comunidad de Facebook (sus reglas sobre lo que está y no está permitido en la plataforma). Luego, prueban el nuevo modelo en un pequeño subconjunto de usuarios de Facebook para medir cómo cambia las métricas de participación, como la cantidad de Me gusta, comentarios y acciones compartidas, dice Krishna Gade, quien se desempeñó como gerente de ingeniería para noticias de 2016 a 2018. .
Si un modelo reduce demasiado el compromiso, se descarta. De lo contrario, se implementa y se supervisa continuamente. En Twitter, Gade explicado que sus ingenieros recibirían notificaciones cada pocos días cuando las métricas como me gusta o comentarios estuvieran bajas. Luego descifrarían qué había causado el problema y si algún modelo necesitaba reentrenamiento.
¿Cómo ha llevado la clasificación de contenido de Facebook a la difusión de información errónea y discurso de odio?
Durante su testimonio, Haugen volvió repetidamente a la idea de que el algoritmo de Facebook incita a la desinformación, el discurso de odio e incluso la violencia étnica.
Facebook... sabe, lo han admitido en público, que la clasificación basada en el compromiso es peligrosa sin sistemas de integridad y seguridad, pero luego no implementó esos sistemas de integridad y seguridad en la mayoría de los idiomas del mundo, dijo hoy al Senado. Está separando familias. Y en lugares como Etiopía está literalmente avivando la violencia étnica.
Esto es lo que he escrito sobre esto anteriormente:
Los modelos de aprendizaje automático que maximizan el compromiso también favorecen la controversia, la desinformación y el extremismo: en pocas palabras, a la gente simplemente le gustan las cosas escandalosas.
A veces esto inflama las tensiones políticas existentes. El ejemplo más devastador hasta la fecha es el caso de Myanmar, donde las noticias falsas virales y el discurso de odio sobre la minoría musulmana rohingya escalaron el conflicto religioso del país hasta convertirlo en un genocidio en toda regla. Facebook admitió en 2018, después de años de minimizar su papel, que no había hecho lo suficiente para ayudar a evitar que nuestra plataforma se usara para fomentar la división e incitar a la violencia fuera de línea.
Como mencionó Haugen, Facebook también ha sabido esto por un tiempo. Informes anteriores han encontrado que ha estado estudiando el fenómeno desde al menos 2016.
En una presentación interna de ese año, revisada por el Wall Street Journal , una investigadora de la empresa, Monica Lee, descubrió que Facebook no solo albergaba una gran cantidad de grupos extremistas, sino que también los promocionaba entre sus usuarios: el 64% de todas las uniones a grupos extremistas se deben a nuestras herramientas de recomendación, según la presentación, principalmente gracias a los modelos detrás de las funciones Grupos a los que debe unirse y Descubrir.
En 2017, Chris Cox, director de productos de Facebook desde hace mucho tiempo, formó un nuevo grupo de trabajo para comprender si maximizar la participación de los usuarios en Facebook estaba contribuyendo a la polarización política. Descubrió que, de hecho, había una correlación, y que reducir la polarización significaría recibir un golpe en el compromiso. En un documento de mediados de 2018 revisado por el Journal, el grupo de trabajo propuso varias soluciones potenciales, como ajustar los algoritmos de recomendación para sugerir una gama más diversa de grupos para que las personas se unan. Pero reconoció que algunas de las ideas estaban en contra del crecimiento. La mayoría de las propuestas no avanzaron y el grupo de trabajo se disolvió.
En mis propias conversaciones, los empleados de Facebook también corroboraron estos hallazgos.
Un exinvestigador de inteligencia artificial de Facebook que se unió en 2018 dice que él y su equipo realizaron estudio tras estudio para confirmar la misma idea básica: los modelos que maximizan el compromiso aumentan la polarización. Podían rastrear fácilmente el grado de acuerdo o desacuerdo de los usuarios sobre diferentes temas, con qué contenido les gustaba interactuar y cómo cambiaban sus posturas como resultado. Independientemente del problema, los modelos aprendieron a alimentar a los usuarios con puntos de vista cada vez más extremos. Con el tiempo, se vuelven perceptiblemente más polarizados, dice.
Historia relacionada
La carrera para comprender el apasionante y peligroso mundo del lenguaje IA Cientos de científicos de todo el mundo están trabajando juntos para comprender una de las tecnologías emergentes más poderosas antes de que sea demasiado tarde.
En su testimonio, Haugen también enfatizó repetidamente cómo estos fenómenos son mucho peores en regiones que no hablan inglés debido a la cobertura desigual de Facebook de diferentes idiomas.
En el caso de Etiopía hay 100 millones de personas y seis idiomas. Facebook solo admite dos de esos idiomas para los sistemas de integridad, dijo. Esta estrategia de centrarse en sistemas específicos de idioma y contenido para que la IA nos salve está condenada al fracaso.
Ella continuó: Entonces, invertir en formas no basadas en contenido para ralentizar la plataforma no solo protege nuestra libertad de expresión, sino que también protege la vida de las personas.
Exploro esto más en un artículo diferente de principios de este año sobre las limitaciones de grandes modelos de lenguaje o LLM:
A pesar de que los LLM tienen estas deficiencias lingüísticas, Facebook depende en gran medida de ellos para automatizar su moderación de contenido a nivel mundial. Cuando la guerra en Tigray [, Etiopía] estalló por primera vez en noviembre, [el investigador de ética de AI Timnit] Gebru vio que la plataforma se tambaleaba para controlar la ráfaga de información errónea. Esto es emblemático de un patrón persistente que los investigadores han observado en la moderación de contenido. Las comunidades que hablan idiomas no priorizados por Silicon Valley sufren los entornos digitales más hostiles.
Gebru señaló que aquí tampoco es donde termina el daño. Cuando las noticias falsas, el discurso de odio e incluso las amenazas de muerte no se moderan, se eliminan como datos de capacitación para construir la próxima generación de LLM. Y esos modelos, repitiendo como un loro en lo que fueron entrenados, terminan regurgitando estos patrones lingüísticos tóxicos en Internet.
¿Cómo se relaciona la clasificación de contenido de Facebook con la salud mental de los adolescentes?
Una de las revelaciones más impactantes de los archivos de Facebook del Journal fue la investigación interna de Instagram, que descubrió que su plataforma está empeorando la salud mental entre las adolescentes. El treinta y dos por ciento de las adolescentes dijeron que cuando se sentían mal con sus cuerpos, Instagram las hacía sentir peor, escribieron los investigadores en una presentación de diapositivas de marzo de 2020.
Haugen también conecta este fenómeno con los sistemas de clasificación basados en el compromiso, lo que le dijo al Senado hoy que está causando que los adolescentes estén expuestos a más contenido de anorexia.
Si Instagram es una fuerza tan positiva, ¿hemos visto una era dorada de la salud mental de los adolescentes en los últimos 10 años? No, hemos visto tasas crecientes de suicidio y depresión entre los adolescentes, continuó. Existe una amplia franja de investigación que respalda la idea de que el uso de las redes sociales aumenta el riesgo de estos daños a la salud mental.
En mi propio informe, escuché de un ex investigador de IA que también vio que este efecto se extendía a Facebook.
El equipo del investigador... descubrió que los usuarios con tendencia a publicar o interactuar con contenido melancólico, un posible signo de depresión, podrían caer fácilmente en el consumo de material cada vez más negativo que podría empeorar aún más su salud mental.
Pero al igual que con Haugen, el investigador descubrió que el liderazgo no estaba interesado en realizar cambios algorítmicos fundamentales.
El equipo propuso ajustar los modelos de clasificación de contenido para que estos usuarios dejaran de maximizar la participación solos, de modo que se les mostraran menos cosas deprimentes. La pregunta para el liderazgo era: ¿Deberíamos optimizar para el compromiso si encuentra que alguien está en un estado mental vulnerable? él recuerda.
Pero cualquier cosa que redujera el compromiso, incluso por razones tales como no exacerbar la depresión de alguien, provocó muchos titubeos y vacilaciones entre los líderes. Con sus revisiones de desempeño y salarios vinculados a la finalización exitosa de los proyectos, los empleados rápidamente aprendieron a dejar aquellos que recibieron rechazo y continuar trabajando en los dictados de arriba hacia abajo….
Ese ex empleado, mientras tanto, ya no deja que su hija use Facebook.
¿Cómo arreglamos esto?
Haugen está en contra de dividir Facebook o revocar la Sección 230 de la Ley de Decencia en las Comunicaciones de EE. UU., que protege a las plataformas tecnológicas de asumir la responsabilidad por el contenido que distribuye.
En cambio, recomienda crear una exención más específica en la Sección 230 para la clasificación algorítmica, que argumenta que eliminaría la clasificación basada en el compromiso. También aboga por un regreso a las noticias cronológicas de Facebook.
Historia relacionada
Reseña: Por qué Facebook nunca podrá arreglarse solo En An Ugly Truth, las reporteras Sheera Frenkel y Cecilia Kang revelan las fallas fundamentales de Facebook a través de un relato detallado de sus años entre dos elecciones estadounidenses.
Ellery Roberts Biddle, directora de proyectos de Ranking Digital Rights, una organización sin fines de lucro que estudia los sistemas de clasificación de las redes sociales y su impacto en los derechos humanos, dice que la exclusión de la Sección 230 debería examinarse cuidadosamente: creo que tendría una implicación estrecha. No creo que lograría lo que podríamos esperar.
Para que tal excepción sea procesable, dice, los legisladores y el público deberían tener un nivel mucho mayor de transparencia sobre cómo funcionan los sistemas de clasificación de contenido y orientación de anuncios de Facebook. Entiendo la intención de Haugen, tiene sentido, dice ella. Pero es difícil. En realidad, todavía no hemos respondido a la cuestión de la transparencia en torno a los algoritmos. Hay mucho más que hacer.
No obstante, las revelaciones y el testimonio de Haugen han renovado la atención sobre lo que muchos expertos y empleados de Facebook han estado diciendo durante años: que a menos que Facebook cambie el diseño fundamental de sus algoritmos, no hará mella significativa en los problemas de la plataforma.
Su intervención también plantea la posibilidad de que si Facebook no puede poner su propia casa en orden, los legisladores pueden forzar el problema.
El Congreso puede cambiar las reglas que sigue Facebook y detener los muchos daños que ahora está causando, dijo Haugen al Senado. Me presenté con un gran riesgo personal porque creo que todavía tenemos tiempo para actuar, pero debemos actuar ahora.