La vigilancia predictiva sigue siendo racista, independientemente de los datos que utilice

Imágenes de David McNew/Getty

No es ningún secreto que las herramientas policiales predictivas son racialmente sesgado . Varios estudios han demostrado que pueden surgir ciclos de retroalimentación racistas si los algoritmos son capacitado en datos policiales , como arrestos. Pero una nueva investigación muestra que entrenar herramientas predictivas de una manera destinada a disminuir el sesgo tiene poco efecto.

Los datos de arrestos sesgan las herramientas predictivas porque se sabe que la policía arresta a más personas en vecindarios negros y de otras minorías, lo que lleva a los algoritmos a dirigir más vigilancia policial a esas áreas, lo que conduce a más arrestos. El resultado es que las herramientas predictivas asignan incorrectamente las patrullas policiales: algunos vecindarios son injustamente designados como focos de delincuencia, mientras que otros no cuentan con suficiente vigilancia.

Historia relacionada

Los algoritmos policiales predictivos son racistas. Necesitan ser desmantelados. La falta de transparencia y los datos de capacitación sesgados significan que estas herramientas no son adecuadas para su propósito. Si no podemos arreglarlos, deberíamos deshacernos de ellos.

En su defensa, muchos desarrolladores de herramientas policiales predictivas dicen que han comenzado a usar informes de víctimas para obtener una imagen más precisa de las tasas de delincuencia en diferentes vecindarios. En teoría, los informes de las víctimas deberían estar menos sesgados porque no se ven afectados por los prejuicios policiales o los bucles de retroalimentación.

Pero Nil-Jana Akpinar y Alexandra Chouldechova de la Universidad Carnegie Mellon y Maria De-Arteaga de la Universidad de Texas en Austin demuestran que la visión proporcionada por los informes de las víctimas también está sesgada . El equipo construyó su propio algoritmo predictivo utilizando el mismo modelo que se encuentra en varias herramientas populares, incluido PredPol, el sistema más utilizado en los EE. UU. Entrenaron el modelo en datos de informes de víctimas para Bogotá, Colombia, una de las pocas ciudades para las que hay datos de informes de delitos independientes disponibles a nivel de distrito.

Cuando compararon las predicciones de su herramienta con los datos de delincuencia reales de cada distrito, descubrieron que cometía errores significativos. Por ejemplo, en un distrito donde se denunciaron pocos delitos, la herramienta predijo alrededor del 20 % de los puntos conflictivos reales: ubicaciones con una alta tasa de delincuencia. Por otro lado, en un distrito con un alto número de reportes, la herramienta predijo un 20% más de puntos calientes de los que realmente había.

Para Rashida Richardson, abogada e investigadora que estudia el sesgo algorítmico en la Facultad de Derecho de Rutgers en Nueva Jersey, estos resultados refuerzan el trabajo existente que destaca los problemas con los conjuntos de datos utilizados en la vigilancia policial predictiva. Conducen a resultados sesgados que no mejoran la seguridad pública, dice ella. Creo que muchos proveedores de servicios policiales predictivos como PredPol básicamente no entienden cómo las condiciones estructurales y sociales sesgan o distorsionan muchas formas de datos sobre delitos.

Entonces, ¿por qué el algoritmo se equivocó tanto? El problema con los informes de las víctimas es que es más probable que los negros sean denunciados por un delito que los blancos. Las personas blancas más ricas tienen más probabilidades de denunciar a una persona negra más pobre que al revés. Y los negros también son más propensos a denunciar a otros negros. Al igual que con los datos de arrestos, esto lleva a que los vecindarios negros sean señalados como puntos críticos de delincuencia con más frecuencia de la que deberían.

Otros factores también distorsionan la imagen. La denuncia de víctimas también está relacionada con la confianza o desconfianza de la comunidad en la policía, dice Richardson. Entonces, si se encuentra en una comunidad con un departamento de policía históricamente corrupto o notoriamente racialmente sesgado, eso afectará cómo y si las personas denuncian los delitos. En este caso, una herramienta predictiva podría subestimar el nivel de delincuencia en un área, por lo que no obtendrá la vigilancia que necesita.

Sin solución rápida

Peor aún, todavía no hay una solución técnica obvia. Akpinar y Chouldechova intentaron ajustar su modelo de Bogotá para tener en cuenta los sesgos que observaron, pero no tenían suficientes datos para marcar una gran diferencia, a pesar de que había más datos a nivel de distrito para Bogotá que para cualquier ciudad de EE. UU. En última instancia, no está claro si mitigar el sesgo en este caso es más fácil que los esfuerzos anteriores que funcionaron para eliminar el sesgo de los sistemas basados ​​en datos, dice Akpinar.

¿Qué se puede hacer? Richardson cree que la presión pública para desmantelar las herramientas racistas y las políticas detrás de ellas es la única respuesta. Es sólo una cuestión de voluntad política, dice. Ella señala que los primeros en adoptar herramientas de vigilancia predictiva, como Santa Cruz, han anunciado que ya no las usarán y que ha habido informes oficiales mordaces sobre el uso de vigilancia predictiva por parte de LAPD y Chicago PD. Pero las respuestas en cada ciudad fueron diferentes, dice ella.

Chicago suspendió el uso de la vigilancia predictiva, pero reinvirtió en una base de datos para vigilar a las pandillas, que, según Richardson, tiene muchos de los mismos problemas.

Es preocupante que incluso cuando las investigaciones e informes del gobierno encuentran problemas significativos con estas tecnologías, no es suficiente que los políticos y los oficiales de policía digan que no deberían usarse, dice ella.

esconder