211service.com
Los algoritmos policiales predictivos son racistas. Necesitan ser desmantelados.
Franziska Barczyk
Yeshimabeit Milner estaba en la escuela secundaria la primera vez que vio a niños que conocía esposados y metidos en autos de policía. Era el 29 de febrero de 2008 y el director de una escuela cercana en Miami, con mayoría de población haitiana y afroamericana, había asfixiado a uno de sus alumnos. Al día siguiente, varias decenas de niños realizaron una manifestación pacífica. No salió bien.
Esa noche, NBC 6 News at Six de Miami comenzó con un segmento llamado Chaos on Campus. (Hay una vídeo en YouTube .) Las tensiones aumentan en Edison Senior High después de que una lucha por los derechos termina en una batalla con la ley, dijo la transmisión. Corte a imágenes de teléfono borrosas de adolescentes gritando: el caos que ves es una pelea total dentro de la cafetería de la escuela.
Los estudiantes dijeron a los periodistas que la policía los golpeó con porras, los arrojó al suelo y los empujó contra las paredes. La policía afirmó que ellos fueron los que fueron atacados, con botellas de agua, refrescos, leche, etc., y pidieron refuerzos de emergencia. Alrededor de 25 estudiantes fueron arrestados y muchos fueron acusados de múltiples delitos, incluido resistirse al arresto con violencia. Milner recuerda ver en la televisión y ver a los niños con los que había ido a la escuela primaria siendo detenidos. Era tan loco, dice ella.
'Hay una larga historia de datos que se utilizan como armas contra las comunidades negras'.
Para Milner, los eventos de ese día y las implicaciones a largo plazo para los arrestados fueron fundamentales. Poco después, mientras aún estaba en la escuela, se involucró en el activismo basado en datos, documentando las experiencias de sus compañeros de estudios sobre la vigilancia racista. Ahora es directora de Datos para Black Lives , una organización de derechos digitales de base que cofundó en 2017. Lo que aprendió cuando era adolescente la empujó a una vida de lucha contra parcialidad en el sistema de justicia penal y desmantelar lo que ella llama el conducto de la escuela a la prisión. Hay una larga historia de datos que se utilizan como armas contra las comunidades negras, dice ella.
La desigualdad y los abusos del poder policial no solo jugar en las calles o durante disturbios escolares. Para Milner y otros activistas, ahora la atención se centra en dónde existe el mayor potencial de daño duradero: las herramientas policiales predictivas y el abuso de datos por parte de las fuerzas policiales. Varios estudios han demostrado que estas herramientas perpetuar sistémico racismo y, sin embargo, aún sabemos muy poco sobre cómo funcionan, quién los usa y con qué propósito. Todo esto debe cambiar antes de que pueda llevarse a cabo un ajuste de cuentas adecuado. Afortunadamente, la marea puede estar cambiando.
Existen dos tipos generales de herramientas policiales predictivas. Los algoritmos basados en la ubicación se basan en vínculos entre lugares, eventos e índices históricos de delitos para predecir dónde y cuándo es más probable que ocurran delitos, por ejemplo, en determinadas condiciones climáticas o en grandes eventos deportivos. Las herramientas identifican puntos calientes y la policía planifica patrullas en torno a estos avisos. Uno de los más comunes, llamado PredPol, que es utilizado por docenas de ciudades en los EE.UU. , divide las ubicaciones en bloques de 500 x 500 pies y actualiza sus predicciones a lo largo del día, una especie de pronóstico del tiempo para delitos.
Otras herramientas se basan en datos sobre personas, como su edad, género, estado civil, historial de abuso de sustancias y antecedentes penales, para predecir quién tiene una alta probabilidad de estar involucrado en futuras actividades delictivas. Estas herramientas basadas en personas pueden ser utilizadas por la policía, para intervenir antes de que se cometa un delito, o por los tribunales, para determinar durante las audiencias previas al juicio o la sentencia si es probable que alguien que ha sido arrestado reincida. Por ejemplo, una herramienta llamada COMPAS, utilizada en muchas jurisdicciones para ayudar a tomar decisiones sobre la liberación previa al juicio y la sentencia, emite una puntuación estadística entre 1 y 10 para cuantificar la probabilidad de que una persona sea arrestada nuevamente si es liberada.
El problema radica en los datos de los que se alimentan los algoritmos. Por un lado, los algoritmos predictivos son fácilmente sesgados por las tasas de arresto. Según las cifras del Departamento de Justicia de EE. UU., usted está más del doble de probabilidades de ser arrestado si eres negro que si eres blanco. Una persona negra tiene cinco veces más probabilidades de ser detenida sin causa justificada que una persona blanca. El arresto masivo en Edison Senior High fue solo un ejemplo de un tipo de respuesta policial desproporcionada que no es poco común en las comunidades negras.
Los niños que Milner vio arrestar estaban siendo condenados a una evaluación sesgada de por vida debido a ese historial de arrestos. Pero no fueron solo sus propias vidas las que se vieron afectadas ese día. Los datos generados por sus arrestos habrían sido introducidos en algoritmos que apuntarían de manera desproporcionada a todos los jóvenes negros evaluados por los algoritmos. Aunque por ley los algoritmos no usan la raza como predictor, otras variables, como los antecedentes socioeconómicos, la educación y el código postal, actúan como proxies. Incluso sin considerar explícitamente la raza, estas herramientas son racistas.
Es por eso que, para muchos, el concepto mismo de vigilancia predictiva es el problema. El escritor y académico dorothy roberts , quien estudia derecho y derechos sociales en la Universidad de Pensilvania, lo expresó bien en un panel de discusión en línea en junio. El racismo siempre se ha tratado de predecir, de hacer que ciertos grupos raciales parezcan estar predispuestos a hacer cosas malas y, por lo tanto, justificar controlarlos, dijo.
Las evaluaciones de riesgo han sido parte del sistema de justicia penal durante décadas. Pero los departamentos de policía y los tribunales han hecho un mayor uso de las herramientas automatizadas en los últimos años, por dos razones principales. En primer lugar, los recortes presupuestarios han dado lugar a un impulso de la eficiencia. La gente está llamando para desfinanciar a la policía, pero ya han sido desfinanciados, dice Milner. Las ciudades han ido a la quiebra durante años y han reemplazado a los policías con algoritmos. Es difícil obtener cifras exactas, pero se cree que las fuerzas policiales o tribunales en la mayoría de los estados de EE.
La segunda razón del mayor uso de algoritmos es la creencia generalizada de que son más objetivos que los humanos: se introdujeron por primera vez para que la toma de decisiones en el sistema de justicia penal fuera más justa. A partir de la década de 1990, las primeras técnicas automatizadas utilizaron árboles de decisión basados en reglas, pero hoy en día la predicción se realiza con aprendizaje automático.
BANCOS DE ARCILLA A TRAVÉS DE UNSPLASHAún creciente evidencia sugiere que los prejuicios humanos se han integrado en estas herramientas porque los modelos de aprendizaje automático están entrenados con datos policiales sesgados. Lejos de evitar el racismo, simplemente pueden ser mejores para ocultarlo. Muchos críticos ahora ven estas herramientas como una forma de lavado tecnológico , donde un barniz de objetividad cubre los mecanismos que perpetúan las desigualdades en la sociedad.
Realmente, solo en los últimos años, la opinión de la gente sobre estas herramientas ha pasado de ser algo que podría aliviar el sesgo a algo que podría afianzarlo, dice Alicia Xiang , abogado y científico de datos que lidera la investigación sobre equidad, transparencia y responsabilidad en Partnership on AI. Estos sesgos se han agravado desde que apareció la primera generación de herramientas de predicción hace 20 o 30 años. En primer lugar, tomamos datos incorrectos y luego usamos herramientas para empeorarlos, dice Katy Weathington , que estudia el sesgo algorítmico en la Universidad de Colorado Boulder. Simplemente ha sido un bucle que se refuerza a sí mismo una y otra vez.
Las cosas podrían estar empeorando. A raíz de la protestas por parcialidad policial Después de la muerte de George Floyd a manos de un oficial de policía en Minneapolis, algunos departamentos de policía están redoblando el uso de herramientas predictivas. Hace un mes, el comisionado del Departamento de Policía de Nueva York, Dermot Shea, envió una carta a sus oficiales. En el clima actual, tenemos que combatir el crimen de manera diferente, escribió. Lo haremos con menos paradas en la calle, tal vez exponiéndolo a menos peligro y responsabilidad, mientras utilizamos mejor los datos, la inteligencia y toda la tecnología a nuestra disposición... Eso significa que, por parte de la policía de Nueva York, duplicaremos nuestra precisión. esfuerzos policiales.
A la policía le gusta la idea de herramientas que les avise y les permitan intervenir temprano porque creen que mantiene bajas las tasas de criminalidad, dice Rashida Richardson , director de investigación de políticas en AI Now Institute. Pero en la práctica, su uso puede parecer un acoso. Los investigadores han descubierto que algunos departamentos de policía dan a los agentes listas de personas más buscadas que la herramienta identifica como de alto riesgo. Esto salió a la luz por primera vez cuando personas en Chicago informaron que la policía había estado llamando a sus puertas y diciéndoles que estaban siendo observados. En otros estados, dice Richardson, la policía advertía a las personas en las listas que corrían un alto riesgo de estar involucradas en delitos relacionados con pandillas y les pedía que tomaran medidas para evitarlo. Si luego eran arrestados por algún tipo de delito, los fiscales usaban la advertencia previa para buscar cargos más altos. Es casi como una forma digital de atrapamiento, donde le das a la gente información vaga y luego se la reprochas, dice ella.
'Es casi como una forma digital de atrapamiento'.
Del mismo modo, los estudios, incluidos uno encargado por el Centro de Ética e Innovación de Datos del gobierno del Reino Unido el año pasado—sugieren que identificar ciertas áreas como puntos críticos hace que los oficiales esperen problemas cuando patrullan, lo que los hace más propensos a detener o arrestar a las personas allí por prejuicio en lugar de por necesidad.
Otro problema con los algoritmos es que muchos fueron entrenados en poblaciones blancas fuera de los EE. UU., en parte porque los antecedentes penales son difíciles de conseguir en diferentes jurisdicciones de los EE. UU. Static 99, una herramienta diseñada para predecir la reincidencia entre los delincuentes sexuales, se entrenó en Canadá, donde solo alrededor del 3% de la población es negra en comparación con el 12% en los EE. UU. Varias otras herramientas utilizadas en los EE. UU. se desarrollaron en Europa, donde el 2 % de la población es negra. Debido a las diferencias en las condiciones socioeconómicas entre países y poblaciones, es probable que las herramientas sean menos precisas en lugares donde no fueron capacitados. Además, algunos algoritmos previos al juicio entrenados hace muchos años todavía usan predictores que están desactualizados. Por ejemplo, algunos todavía predicen que es menos probable que un acusado que no tiene un teléfono fijo se presente en la corte.
Pero, ¿funcionan estas herramientas, aunque sea de manera imperfecta? Depende de lo que entiendas por trabajo. En general, es prácticamente imposible separar el uso de herramientas policiales predictivas de otros factores que afectan las tasas de delincuencia o encarcelamiento. Aún así, un puñado de pequeños estudios han sacado conclusiones limitadas. Algunos muestran signos de que el uso de las herramientas de evaluación de riesgos por parte de los tribunales ha tenido un impacto positivo menor. A Estudio de 2016 de una herramienta de aprendizaje automático utilizada en Pensilvania para informar las decisiones de libertad condicional no encontró evidencia de que pusiera en peligro la seguridad pública (es decir, identificó correctamente a personas de alto riesgo que no deberían ser puestas en libertad condicional) y alguna evidencia de que identificó a personas no violentas que podrían ser liberadas de manera segura.
Rashida Richardson es directora de investigación de políticas en AI Now Institute. Anteriormente dirigió el trabajo sobre cuestiones legales relacionadas con la privacidad y la vigilancia en la Unión Estadounidense de Libertades Civiles.
CORTESÍA DE IA AHORAOtro estudio, en 2018, analizó una herramienta utilizada por los tribunales en Kentucky y descubrió que aunque las puntuaciones de riesgo se interpretaban de manera inconsistente entre los condados, lo que generaba discrepancias sobre quién era liberado y quién no, la herramienta habría reducido ligeramente las tasas de encarcelamiento si se hubiera utilizado correctamente. Y la Unión Estadounidense de Libertades Civiles informa que una herramienta de evaluación adoptada como parte de la Ley de Reforma de la Justicia Penal de Nueva Jersey de 2017 condujo a una Disminución del 20% en el número de personas encarceladas en espera de juicio .
Los defensores de tales herramientas dicen que los algoritmos pueden ser más justos que los humanos que toman las decisiones, o al menos hacer explícita la injusticia. En muchos casos, especialmente en las audiencias de fianza previas al juicio, se espera que los jueces aceleren muchas docenas de casos en poco tiempo. En un estudio de audiencias previas al juicio en el condado de Cook, Illinois, los investigadores encontraron que los jueces dedicaron un promedio de solo 30 segundos a considerar cada caso.
En tales condiciones, es razonable suponer que los jueces están tomando decisiones precipitadas impulsados, al menos en parte, por sus prejuicios personales. melissa hamilton en la Universidad de Surrey en el Reino Unido, que estudia cuestiones legales en torno a las herramientas de evaluación de riesgos, critica su uso en la práctica, pero cree que, en principio, pueden hacer un mejor trabajo que las personas. La alternativa es el cerebro de caja negra de un tomador de decisiones humano, dice ella.
Pero hay un problema evidente. Los datos de arresto utilizados para entrenar herramientas predictivas no brindan una imagen precisa de la actividad delictiva. Los datos de arresto se utilizan porque es lo que registran los departamentos de policía. Pero los arrestos no necesariamente conducen a condenas. Estamos tratando de medir a las personas que cometen delitos, pero todo lo que tenemos son datos sobre arrestos, dice Xiang.
'Estamos tratando de medir a las personas que cometen delitos, pero todo lo que tenemos son datos sobre arrestos'.
Además, los datos de arrestos codifican patrones de comportamiento policial racista. Como resultado, es más probable que predigan un alto potencial de delincuencia en vecindarios minoritarios o entre personas pertenecientes a minorías. Incluso cuando los datos de arrestos y delitos coinciden, hay una gran cantidad de razones socioeconómicas por las que ciertas poblaciones y ciertos vecindarios tienen índices históricos de delincuencia más altos que otros. Introducir estos datos en herramientas predictivas permite que el pasado dé forma al futuro.
Algunas herramientas también utilizan datos sobre dónde se ha realizado una llamada a la policía, lo que es un reflejo aún más débil de los patrones delictivos reales que los datos de arrestos, y aún más deformado por motivaciones racistas . Considerar el caso de amy cooper , quien llamó a la policía simplemente porque un observador de aves negro, Christian Cooper, le pidió que le pusiera una correa a su perro en el Central Park de Nueva York.
El hecho de que haya una llamada de que ocurrió un delito no significa que realmente ocurrió un delito, dice Richardson. Si la llamada se convierte en un punto de datos para justificar el envío de la policía a un vecindario específico, o incluso para dirigirse a un individuo específico, obtiene un ciclo de retroalimentación donde las tecnologías basadas en datos legitiman la vigilancia policial discriminatoria.
A medida que más críticos argumentan que estas herramientas no son adecuadas para su propósito, hay llamados a una especie de acción afirmativa algorítmica, en la que el sesgo en los datos se contrarresta de alguna manera. En teoría, una forma de hacer esto para los algoritmos de evaluación de riesgos sería usar umbrales de riesgo diferenciales: tres arrestos para una persona negra podrían indicar el mismo nivel de riesgo que, digamos, dos arrestos para una persona blanca.
Este fue uno de los enfoques examinados en un estudio publicar d en mayo por Jennifer Skeem, quien estudia políticas públicas en la Universidad de California, Berkeley, y Christopher Lowenkamp, analista de ciencias sociales en la Oficina Administrativa de los Tribunales de los Estados Unidos en Washington, DC. La pareja analizó tres opciones diferentes para eliminar el sesgo en los algoritmos que habían evaluado el riesgo de reincidencia de alrededor de 68 000 participantes, la mitad blancos y la mitad negros. Descubrieron que el mejor equilibrio entre razas se lograba cuando los algoritmos tomaban en cuenta la raza explícitamente (lo que las herramientas existentes tienen prohibido legalmente) y asignaban a las personas negras un umbral más alto que a las blancas para ser consideradas de alto riesgo.
Por supuesto, esta idea es bastante controvertida. Significa esencialmente manipular los datos para perdonar una parte de los crímenes debido a la raza del perpetrador, dice Xiang: Eso es algo que hace que la gente se sienta muy incómoda. La idea de hacer que los miembros de diferentes grupos cumplan con diferentes estándares va en contra del sentido de justicia de muchas personas, incluso si se hace de una manera que se supone que aborda la injusticia histórica. (Puedes probar esta compensación por ti mismo en nuestro historia interactiva sobre el sesgo algorítmico en el sistema legal penal , que le permite experimentar con una versión simplificada de la herramienta COMPAS).
De todos modos, el sistema legal estadounidense no está listo para tener tal discusión. La profesión legal ha estado muy por detrás de estas herramientas de evaluación de riesgos, dice Hamilton. En los últimos años ha estado dando cursos de capacitación a abogados y descubrió que los abogados defensores a menudo ni siquiera son conscientes de que sus clientes están siendo evaluados de esta manera. Si no eres consciente de ello, no vas a desafiarlo, dice ella.
La falta de conciencia puede atribuirse a la confusión del panorama general: las fuerzas del orden han sido tan reservadas sobre cómo utilizan estas tecnologías que es muy difícil para cualquiera evaluar qué tan bien funcionan. Incluso cuando la información está disponible, es difícil vincular cualquier sistema con cualquier resultado. Y los pocos estudios detallados que se han realizado se centran en herramientas específicas y sacan conclusiones que pueden no aplicarse a otros sistemas o jurisdicciones.
Ni siquiera está claro qué herramientas se están utilizando y quién las está utilizando. No sabemos cuántos departamentos de policía han usado, o están usando actualmente, vigilancia policial predictiva, dice Richardson.
Por ejemplo, el hecho de que la policía de Nueva Orleans estaba usando una herramienta predictiva desarrollada por la empresa secreta de minería de datos Palantir salió a la luz solo después de una investigación de The Verge . Y los registros públicos muestran que el El Departamento de Policía de Nueva York pagó 2,5 millones de dólares a Palantir pero no dice para qué.
GETTYLa mayoría de las herramientas están autorizadas para los departamentos de policía por una mezcla heterogénea de pequeñas empresas, autoridades estatales e investigadores. Algunos son sistemas propietarios; algunos no lo son. Todos ellos funcionan de maneras ligeramente diferentes. Sobre la base de los resultados de las herramientas, los investigadores recrean lo mejor que pueden lo que creen que está sucediendo.
Hamid Khan, un activista que luchó durante años para que la policía de Los Ángeles lanzara una herramienta predictiva llamada PredPol, exigió una auditoría de la herramienta por parte del inspector general del departamento de policía. De acuerdo a Kan , en marzo de 2019 el inspector general dijo que la tarea era imposible porque la herramienta era muy complicada.
En el Reino Unido, Hamilton trató de investigar una herramienta llamada OASys, que, como COMPAS, se usa comúnmente en audiencias previas al juicio, sentencias y libertad condicional. La empresa que fabrica OASys realiza sus propias auditorías y no ha publicado mucha información sobre cómo funciona, dice Hamilton. Ha intentado repetidamente obtener información de los desarrolladores, pero dejaron de responder a sus solicitudes. Ella dice, creo que buscaron mis estudios y decidieron: No.
El estribillo familiar de las empresas que fabrican estas herramientas es que no pueden compartir información porque sería revelar secretos comerciales o información confidencial sobre las personas que las herramientas han evaluado.
Todo esto significa que solo un puñado se ha estudiado en detalle, aunque hay información disponible sobre algunos de ellos. Static 99 fue desarrollado por un grupo de científicos de datos que compartieron detalles sobre sus algoritmos. Public Safety Assessment, una de las herramientas de evaluación de riesgos previas al juicio más comunes en los EE. UU., fue desarrollada originalmente por Arnold Ventures, una organización privada, pero resultó más fácil convencer a las jurisdicciones para que la adoptaran si se revelaban algunos detalles sobre su funcionamiento. , dice Hamilton. Aún así, los creadores de ambas herramientas se han negado a publicar los conjuntos de datos que usaron para el entrenamiento, que serían necesarios para comprender completamente cómo funcionan.
La compra de una herramienta de evaluación de riesgos está sujeta a las mismas normas que la compra de una máquina quitanieves.
No solo hay poca información sobre los mecanismos dentro de estas herramientas, sino que los críticos dicen que los departamentos de policía y los tribunales no están haciendo lo suficiente para asegurarse de que compren herramientas que funcionen como se espera. Para el Departamento de Policía de Nueva York, la compra de una herramienta de evaluación de riesgos está sujeta a las mismas normas que la compra de una máquina quitanieves, dice Milner.
La policía puede comprar tecnología a toda velocidad sin saber qué está usando, sin invertir tiempo para garantizar que se pueda usar de manera segura, dice Richardson. Y luego no hay una auditoría o análisis continuo para determinar si está funcionando.
Los esfuerzos para cambiar esto han enfrentado resistencia. El mes pasado Ciudad de Nueva York aprobado el Ley de supervisión pública de la tecnología de vigilancia (POST) , que requiere que la policía de Nueva York enumere todas sus tecnologías de vigilancia y describa cómo afectan a los residentes de la ciudad. La policía de Nueva York es la fuerza policial más grande de los EE. UU., y los defensores del proyecto de ley esperan que la divulgación también arroje luz sobre qué tecnología están utilizando otros departamentos de policía del país. Pero llegar tan lejos fue difícil. Richardson, quien hizo un trabajo de defensa del proyecto de ley, lo había estado viendo en el limbo desde 2017, hasta que los pedidos generalizados de reforma policial en los últimos meses inclinaron la balanza de la opinión.
Fue la frustración de tratar de encontrar información básica sobre las prácticas policiales digitales en Nueva York lo que llevó a Richardson a trabajar en el proyecto de ley. La policía se había resistido cuando ella y sus colegas querían aprender más sobre el uso de herramientas de vigilancia por parte de la policía de Nueva York. Las solicitudes de la Ley de Libertad de Información y los litigios de la Unión de Libertades Civiles de Nueva York no estaban funcionando. En 2015, con la ayuda del concejal Daniel Garodnik, propusieron una legislación que forzaría el problema.
Experimentamos una reacción negativa significativa por parte de la policía de Nueva York, incluida una desagradable campaña de relaciones públicas que sugería que el proyecto de ley estaba entregando el mapa de la ciudad a los terroristas, dice Richardson. No hubo apoyo del alcalde y de un ayuntamiento hostil.
Con sus problemas éticos y falta de transparencia, el estado actual de la vigilancia predictiva es un desastre. Pero, ¿qué se puede hacer al respecto? Xiang y Hamilton creen que las herramientas algorítmicas tienen el potencial de ser más justas que los humanos, siempre que todos los involucrados en su desarrollo y uso sean plenamente conscientes de sus limitaciones y trabajen deliberadamente para que sean justas.
Pero este desafío no es meramente técnico. Se necesita un ajuste de cuentas sobre qué hacer con el sesgo en los datos, porque eso está ahí para quedarse. Lleva consigo las cicatrices de generaciones de vigilancia, dice Weathington.
Y lo que significa tener un algoritmo justo no es algo que los informáticos puedan responder, dice Xiang. Realmente no es algo que cualquiera pueda responder. Es preguntar cómo sería un sistema justo de justicia penal. Incluso si es abogado, incluso si es ético, no puede dar una respuesta firme a eso.
Estas son preguntas fundamentales que no van a tener solución en el sentido en que un problema matemático puede tener solución, agrega.
Hamilton está de acuerdo. Los grupos de derechos civiles tienen que tomar una decisión difícil, dice: si está en contra de la evaluación de riesgos, es probable que más minorías permanezcan encerradas. Si acepta la evaluación de riesgos, es un poco cómplice de promover el sesgo racial en los algoritmos.
Pero esto no significa que no se pueda hacer nada. Richardson dice que se debe denunciar a los políticos por su ignorancia táctica sobre las deficiencias de estas herramientas. Por ejemplo, la policía de Nueva York ha estado involucrada en docenas de juicios sobre años de actuación policial sesgada. No entiendo cómo puede estar lidiando activamente con negociaciones de acuerdos sobre prácticas racialmente sesgadas y aún así pensar que está bien usar los datos resultantes de esas prácticas, dice ella.
Yeshimabeit Milner es cofundadora y directora de Data for Black Lives, un colectivo de base de activistas e informáticos que utilizan datos para reformar el sistema de justicia penal.
CORTESÍA DE DATOS PARA BLACK LIVESPara Milner, la clave para lograr el cambio es involucrar a las personas más afectadas. En 2008, después de ver arrestar a los niños que conocía, Milner se unió a una organización que encuestó a alrededor de 600 jóvenes sobre sus experiencias con los arrestos y la brutalidad policial en las escuelas, y luego convirtió lo que aprendió en un cómic. Los jóvenes de todo el país utilizaron el cómic para comenzar a hacer un trabajo similar donde vivían.
Hoy, su organización, Data for Black Lives, coordina alrededor de 4000 ingenieros de software, matemáticos y activistas en universidades y centros comunitarios. Las herramientas de evaluación de riesgos no son la única forma en que el mal uso de los datos perpetúa el racismo sistémico, pero es uno de los que tienen muy en cuenta. No vamos a impedir que todas las empresas privadas desarrollen herramientas de evaluación de riesgos, pero podemos cambiar la cultura y educar a las personas, brindarles formas de retroceder, dice Milner. En Atlanta, están capacitando a personas que han pasado un tiempo en la cárcel para que hagan ciencia de datos, de modo que puedan desempeñar un papel en la reforma de las tecnologías utilizadas por el sistema de justicia penal.
Mientras tanto, Milner, Weathington, Richardson y otros creen que la policía debería dejar de usar herramientas predictivas defectuosas hasta que haya una forma acordada de hacerlas más justas.
La mayoría de la gente estaría de acuerdo en que la sociedad debería tener una forma de decidir quién es un peligro para los demás. Pero reemplazar a un policía o juez humano prejuicioso con algoritmos que simplemente ocultan esos mismos prejuicios no es la respuesta. Si existe la posibilidad de que perpetúen las prácticas racistas, deberían retirarse.
Sin embargo, como han descubierto los defensores del cambio, se necesitan muchos años para marcar la diferencia, con resistencia a cada paso. No es coincidencia que tanto Khan como Richardson hayan visto avances después de semanas de indignación nacional por la brutalidad policial. Los recientes levantamientos definitivamente trabajaron a nuestro favor, dice Richardson. Pero también tomó cinco años de presión constante por parte de ella y sus compañeros defensores. Khan también había estado haciendo campaña contra la vigilancia predictiva en el Departamento de Policía de Los Ángeles durante años.
Esa presión debe continuar, incluso después de que las marchas hayan cesado. Eliminar el sesgo no es una solución técnica, dice Milner. Se necesita un cambio de política más profundo y, sinceramente, menos sexy y más costoso.