Cómo nuestros datos codifican el racismo sistemático

Sra. tecnología

A menudo me han dicho: Los datos no mienten. Sin embargo, esa nunca ha sido mi experiencia. Para mí, los datos casi siempre mienten. Los resultados de búsqueda de imágenes de Google para una piel sana muestran solo mujeres de piel clara y una consulta sobre Las chicas negras todavía devuelven pornografía. . El celeb El conjunto de datos faciales tiene etiquetas de nariz grande y labios grandes que se asignan de manera desproporcionada a rostros femeninos de piel más oscura como el mío. Etiqueta de modelos entrenados en ImageNet soy una mala persona, un drogadicto o un fracasado. Faltan conjuntos de datos para detectar el cáncer de piel muestras de más oscuro tipos de piel.

La supremacía blanca a menudo aparece violentamente—en disparos en un Walmart abarrotado o servicio de iglesia , en el comentario agudo de una acusación alimentada por el odio o un empujón en la calle, pero a veces toma una forma más sutil, como estas mentiras. Cuando aquellos de nosotros que construimos sistemas de inteligencia artificial continuamos permitiendo que la flagrante mentira de la supremacía blanca se incruste en todo, desde cómo recopilamos datos hasta cómo definimos conjuntos de datos y cómo elegimos usarlos, significa una tolerancia inquietante.

Las personas que no son blancas no son atípicos. A nivel mundial, somos los norma , y esto no parece ser cambiando en cualquier momento pronto . Los conjuntos de datos construidos específicamente en y para los espacios en blanco representan la realidad construida, no la natural. Tener precisión calculada en ausencia de mi experiencia vivida no solo me ofende, sino que también me pone en peligro real.

datos corruptos

En un trabajo de investigación titulado Datos sucios, malas predicciones , la autora principal, Rashida Richardson, describe un escenario alarmante: los distritos policiales sospechosos o confirmados de haber participado en prácticas corruptas, racialmente sesgadas o ilegales continúan contribuyendo con sus datos al desarrollo de nuevos sistemas automatizados destinados a ayudar a los oficiales a tomar decisiones policiales.

El objetivo de las herramientas policiales predictivas es enviar agentes a la escena del crimen antes de que suceda. La suposición es que los lugares donde las personas habían sido arrestadas previamente se correlacionan con la probabilidad de futuras actividades ilegales. Lo que Richardson señala es que esta suposición permanece incuestionable incluso cuando esos arrestos iniciales fueron por motivos raciales o ilegales, a veces involucrando manipulación de datos sistémicos, corrupción policial, falsificación de informes policiales y violencia, incluidos robos a residentes, colocación de pruebas, extorsión, allanamientos inconstitucionales y otras prácticas corruptas. Incluso los datos de los departamentos de policía con peor comportamiento son todavía se utiliza para informar las herramientas policiales predictivas .

como el El Tampa Bay Times informa , este enfoque puede proporcionar una justificación algorítmica para un mayor acoso policial de las comunidades minoritarias y de bajos ingresos. El uso de datos tan defectuosos para entrenar nuevos sistemas incorpora la mala conducta documentada del departamento de policía en el algoritmo y perpetúa prácticas que ya se sabe que aterrorizan a los más vulnerables a ese abuso.

Esto puede parecer describir un puñado de situaciones trágicas. Sin embargo, es realmente la norma en el aprendizaje automático: esta es la calidad típica de los datos que actualmente aceptamos como nuestra verdad fundamental incuestionable.

Historia relacionada

¿Qué falta en las declaraciones corporativas sobre la injusticia racial? La verdadera causa del racismo. Un análisis de 63 declaraciones recientes muestra que las empresas tecnológicas de EE. UU. responsabilizaron repetidamente a los negros por la injusticia racial.

Un día GPT-2, una versión anterior disponible públicamente del modelo de generación de lenguaje automatizado desarrollado por la organización de investigación OpenAI, comenzó a hablarme abiertamente sobre derechos blancos. Dadas indicaciones simples como lo es un hombre blanco o una mujer negra, el texto generado por el modelo se lanzaría a discusiones sobre naciones arias blancas e invasores extranjeros y no blancos.

Estas diatribas no solo incluían insultos horribles como perra, puta, negro, chino y rasgado, sino que el texto generado incorporaba una retórica nacionalista blanca estadounidense específica, que describía amenazas demográficas y se desviaba hacia apartes antisemitas contra judíos y comunistas.

GPT-2 no piensa por sí mismo: genera respuestas replicando patrones de lenguaje observados en los datos utilizados para desarrollar el modelo. Este conjunto de datos, denominado WebText, contiene más de 8 millones de documentos para un total de 40 GB de texto procedente de hipervínculos. Estos enlaces fueron seleccionados de las publicaciones más votadas en el sitio web de redes sociales Reddit, como un indicador heurístico de si otros usuarios encontraron el enlace interesante, educativo o simplemente divertido .

Sin embargo, los usuarios de Reddit, incluidos los que cargan y votan a favor, son conocido por incluir supremacistas blancos . Durante años, la plataforma fue plagado de lenguaje racista y enlaces permitidos a contenido que exprese ideología racista. Y aunque hay opciones prácticas disponibles para frenar este comportamiento en la plataforma, los primeros intentos serios de tomar acción , por la entonces directora ejecutiva Ellen Pao en 2015, fueron mal recibidos por la comunidad y dieron lugar a una intensa acoso y reacción .

Ya sea que se trate de policías descarriados o usuarios descarriados, los tecnólogos optan por permitir que esta cosmovisión opresiva particular se solidifique en conjuntos de datos y defina la naturaleza de los modelos que desarrollamos. OpenAI mismo reconoció las limitaciones de obtener datos de Reddit, y señaló que muchos grupos maliciosos usan esos foros de discusión para organizar . Sin embargo, la organización también continúa haciendo uso del conjunto de datos derivados de Reddit , incluso en versiones posteriores de su modelo de lenguaje. La naturaleza peligrosamente defectuosa de las fuentes de datos se descarta en aras de la conveniencia, a pesar de las consecuencias. La intención maliciosa no es necesaria para que esto suceda, aunque sí una cierta pasividad y negligencia irreflexivas.

Mentiras piadosas

La supremacía blanca es la falsa creencia de que los individuos blancos son superiores a los de otras razas. No es un simple concepto erróneo, sino una ideología arraigada en engaño . La raza es el primer mito, la superioridad el siguiente. Los defensores de esta ideología se aferran obstinadamente a una invención que los privilegia.

Escucho cómo esta mentira suaviza el lenguaje de un Guerra contra las drogas a una epidemia de opioides , y culpas salud mental o videojuegos por las acciones de los agresores blancos incluso cuando atribuye pereza y criminalidad a víctimas no blancas. Me doy cuenta de cómo borra a los que se parecen a mí, y lo veo desarrollarse en un desfile interminable de rostros pálidos del que parece que no puedo escapar: en películas, portadas de revistas y entregas de premios.

Los conjuntos de datos construidos específicamente en y para los espacios en blanco representan la realidad construida, no la natural.

Esta sombra sigue cada uno de mis movimientos, un escalofrío incómodo en la nuca. Cuando escucho un asesinato, no solo veo al oficial de policía con su rodilla en la garganta o la vigilante equivocado con un arma a su lado—es el economía que estrangula nosotros el enfermedad que debilita nosotros y el gobierno que silencia nosotros.

Dígame, ¿cuál es la diferencia entre el exceso de vigilancia en los barrios minoritarios y el sesgo de el algoritmo que envió a los oficiales allí ? ¿Cuál es la diferencia entre un sistema escolar segregado y uno discriminatorio? algoritmo de calificación ? Entre un médico que no escucha y un algoritmo que te niega una cama de hospital ? No existe un racismo sistemático separado de nuestras contribuciones algorítmicas, de la red oculta de implementaciones algorítmicas que colapsan regularmente sobre aquellos que ya son más vulnerables.

Resistir el determinismo tecnológico

La tecnología no es independiente de nosotros; es creado por nosotros, y tenemos control total sobre él. Los datos no son solo arbitrarios político — existen políticas específicas tóxicas y mal informadas que los científicos de datos permiten que se infiltren en nuestros conjuntos de datos. La supremacía blanca es una de ellas.

Ya nos hemos insertado a nosotros mismos y a nuestras decisiones en el resultado; no existe un enfoque neutral. No existe una versión futura de los datos que sea mágicamente imparcial. Los datos siempre serán una interpretación subjetiva de la realidad de alguien, una presentación específica de los objetivos y perspectivas que elegimos priorizar en este momento. Ese es un poder que tenemos aquellos de nosotros responsables de obtener, seleccionar y diseñar estos datos y desarrollar los modelos que interpretan la información. Esencialmente, no hay intercambio de equidad por precisión; ese es un sacrificio mítico, una excusa para no reconocer nuestro papel en la definición del desempeño con la exclusión de otros en primer lugar.

Aquellos de nosotros que construimos estos sistemas elegiremos qué subreddits y fuentes en línea para rastrear , cual idiomas a usar o ignorar, qué conjuntos de datos eliminar o aceptar . Lo más importante, nosotros elegir a quién le aplicamos estos algoritmos , y qué objetivos optimizamos por. Elegimos las etiquetas que creamos, los datos que tomamos, los métodos que usamos. Elegimos a quiénes damos la bienvenida como científicos de datos, ingenieros e investigadores, y quiénes Nosotros no . Había muchas posibilidades para el diseño de la tecnología que construimos, y elegimos esta. Somos responsables.

Entonces, ¿por qué no podemos ser más cuidadosos? ¿Cuándo finalmente nos acostumbraremos a revelar procedencia de los datos , eliminar conjuntos de datos problemáticos , y definiendo explícitamente la limitaciones del alcance de cada modelo ? ¿Hasta qué punto podemos condenar a quienes operan con un agenda explícita de la supremacía blanca , y tomar acciones serias ¿para incluir?

Un camino incierto a seguir

Distraído por condolencias corporativas , soluciones técnicas abstractas y teorías sociales articuladas, he visto a compañeros felicitarse a sí mismos por el progreso invisible. En última instancia, los envidio porque tienen una opción en el mismo mundo en el que yo, como cualquier otra persona negra, no puedo dejar de preocuparme por esto.

Mientras los negros ahora mueren en una cacofonía de desastres naturales y no naturales, muchos de mis colegas aún están más motivados por el último producto o lanzamiento espacial que por el horror discordante de una realidad que me deja sin aliento.

El hecho es que la IA no funciona hasta que funciona para todos nosotros.

Durante años, he visto que se ensalzaba este problema como importante, pero está claro que tratarlo todavía no se considera una prioridad, es bueno tener una acción complementaria, siempre secundaria a alguna definición de la funcionalidad del modelo que no me incluye a mí.

Los modelos claramente todavía luchan por abordar estos desafíos de sesgo. celebrado como avances , mientras que las personas lo suficientemente valientes como para hablar sobre el riesgo ser silenciado, o peor . Hay una clara complacencia cultural con las cosas como siempre, y aunque es decepcionante, eso no es particularmente sorprendente en un campo donde la gran mayoría simplemente no entiende lo que está en juego.

El hecho es que la IA no funciona hasta que funciona para todos nosotros. Si esperamos abordar alguna vez la injusticia racial, entonces debemos dejar de presentar nuestros datos distorsionados como verdad básica. No hay un mundo racional y justo en el que las herramientas de contratación excluyen sistemáticamente a las mujeres de los roles técnicos, o donde los coches autónomos tienen más probabilidades de atropellar a los peatones de piel más oscura . La verdad de cualquier realidad que reconozco no está en estos modelos, ni en los conjuntos de datos que los informan.

La comunidad de aprendizaje automático continúa aceptando un cierto nivel de disfunción siempre que solo ciertos grupos se vean afectados. Esto necesita un cambio consciente, y eso requerirá tanto esfuerzo como cualquier otra lucha contra la opresión sistemática. Después de todo, las mentiras incrustadas en nuestros datos no son muy diferentes de cualquier otra mentira que haya contado la supremacía blanca. Por lo tanto, requerirán tanta energía e inversión para contrarrestarlos.

Deborah Raji es una becaria de Mozilla interesada en auditoría y evaluación algorítmica. Ha trabajado en varios proyectos premiados para resaltar casos de sesgo en la visión por computadora y mejorar las prácticas de documentación en el aprendizaje automático.

esconder