211service.com
La policía de EE. UU. está entrenando IA para predecir delitos con datos falsificados
David McNew/Staff
En mayo de 2010, motivado por una serie de escándalos de alto perfil, el alcalde de Nueva Orleans solicitó al Departamento de Justicia de EE. UU. que investigara al departamento de policía de la ciudad (NOPD). Diez meses después, el DOJ ofreció su analisis abrasador : durante el período de su revisión desde 2005 en adelante, el NOPD había violado repetidamente la ley constitucional y federal.
Usó fuerza excesiva y desproporcionada contra los residentes negros; minorías raciales dirigidas, hablantes no nativos de inglés y personas LGBTQ; y no abordó la violencia contra la mujer. Los problemas, dicho el asistente del fiscal general Thomas Pérez en ese momento, eran serios, de amplio alcance, sistémicos y profundamente arraigados en la cultura del departamento.
A pesar de los inquietantes hallazgos, la ciudad entró en un sociedad secreta solo un año después con la empresa de minería de datos Palantir para implementar un sistema policial predictivo. El sistema usó datos históricos, incluidos registros de arrestos e informes policiales electrónicos, para pronosticar delitos y ayudar a diseñar estrategias de seguridad pública, según empresa y Gobierno de la Ciudad materiales En ningún momento esos materiales sugirieron ningún esfuerzo para limpiar o modificar los datos para abordar las violaciones reveladas por el DOJ. Con toda probabilidad, los datos corruptos se ingresaron directamente en el sistema, lo que reforzó las prácticas discriminatorias del departamento.
Los algoritmos policiales predictivos se están convirtiendo en una práctica común en las ciudades de los EE. UU. Aunque la falta de transparencia hace que las estadísticas exactas sean difíciles de precisar, PredPol, un proveedor líder, se jacta que ayuda a proteger a 1 de cada 33 estadounidenses. El software a menudo se promociona como una forma de ayudar a los departamentos de policía poco extendidos a tomar decisiones más eficientes basadas en datos.
Pero una nueva investigación sugiere que no solo Nueva Orleans ha entrenado estos sistemas con datos sucios. en un papel lanzado hoy, que se publicará en NYU Law Review, los investigadores del AI Now Institute, un centro de investigación que estudia el impacto social de la inteligencia artificial, encontraron que el problema es generalizado entre las jurisdicciones que estudió. Esto tiene implicaciones significativas para la eficacia de la vigilancia predictiva y otros algoritmos utilizados en el sistema de justicia penal.
Su sistema es tan bueno como los datos que utiliza para entrenarlo, dice Kate Crawford, cofundadora y codirectora de AI Now y autora del estudio. Si los datos en sí son incorrectos, hará que más recursos policiales se concentren en las mismas comunidades sobrevigiladas y, a menudo, racialmente atacadas. Entonces, lo que ha hecho es en realidad un tipo de lavado tecnológico en el que las personas que usan estos sistemas asumen que de alguna manera son más neutrales u objetivos, pero en realidad han arraigado una forma de inconstitucionalidad o ilegalidad.
Los investigadores examinaron 13 jurisdicciones, centrándose en aquellas que han utilizado sistemas policiales predictivos y han estado sujetas a una investigación encargada por el gobierno. Este último requisito aseguró que las prácticas policiales tuvieran documentación legalmente verificable. En nueve de las jurisdicciones, encontraron pruebas sólidas de que los sistemas habían sido entrenados con datos sucios.
El problema no eran solo los datos sesgados por la orientación desproporcionada de las minorías, como en Nueva Orleans. En algunos casos, los departamentos de policía tenían la cultura de manipular o falsificar datos deliberadamente bajo una intensa presión política para reducir las tasas oficiales de criminalidad. En Nueva York, por ejemplo, con el fin de desinflar artificialmente las estadísticas delictivas, los comandantes de las comisarías pedían regularmente a las víctimas en la escena del crimen que no presentaran denuncias. Algunos oficiales de policía incluso plantaron drogas en personas inocentes para cumplir con sus cuotas de arrestos. En los sistemas policiales predictivos de hoy en día, que se basan en el aprendizaje automático para pronosticar delitos, esos puntos de datos corruptos se convierten en predictores legítimos.
Los hallazgos del artículo cuestionan la validez de los sistemas policiales predictivos. Los proveedores de dicho software a menudo argumentan que los resultados sesgados de sus herramientas se pueden corregir fácilmente, dice Rashida Richardson, directora de investigación de políticas en AI Now y autora principal del estudio. Pero en todos estos casos, hay algún tipo de problema sistémico que se refleja en los datos, dice ella. El remedio, por lo tanto, requeriría mucho más que simplemente eliminar uno o dos casos de mal comportamiento. No es tan fácil separar los buenos datos de los malos o los buenos policías de los malos, agrega Jason Schultz, líder de investigación del instituto para leyes y políticas, otro autor del estudio.
Los proveedores también argumentan que evitan los datos que probablemente reflejen sesgos, como arrestos relacionados con drogas, y optan en cambio por información de capacitación como llamadas al 911. Pero los investigadores encontraron tanto sesgo en los datos supuestamente más neutrales. Además, descubrieron que los proveedores nunca auditan de forma independiente los datos que ingresan a sus sistemas.
Historia relacionada
Historia relacionada El uso de datos históricos para entrenar herramientas de evaluación de riesgos podría significar que las máquinas están copiando los errores del pasado.El documento arroja luz sobre otro debate que se está librando en los EE. UU. sobre el uso de herramientas de evaluación de riesgos penales, que también utilizan el aprendizaje automático para ayudar a determinar cualquier cosa, desde el destino de los acusados durante los procedimientos previos al juicio hasta la severidad de sus sentencias. Los datos que discutimos en este documento no se limitan a la vigilancia policial, dice Richardson. Se utiliza en todo el sistema de justicia penal.
Actualmente, gran parte del debate se ha centrado en la mecánica del sistema en sí, si puede diseñarse para producir resultados matemáticamente justos. Pero los investigadores enfatizan que esta es la pregunta equivocada. Separar la pregunta del algoritmo del sistema social al que está conectado y en el que está integrado no te lleva muy lejos, dice Schultz. Realmente tenemos que reconocer los límites de ese tipo de intentos matemáticos basados en cálculos para abordar el sesgo.
En el futuro, los investigadores esperan que su trabajo ayude a replantear el debate para centrarse en el sistema más amplio en lugar de la herramienta en sí. También esperan que impulse a los gobiernos a crear mecanismos, como el marco de evaluación de impacto algorítmico el instituto lanzó el año pasado, para brindar más transparencia, responsabilidad y supervisión al uso de herramientas automatizadas de toma de decisiones.
Si no se reforman los mecanismos sociales y políticos que generan datos sucios, tales herramientas solo harán más daño que bien, dicen. Una vez que las personas reconozcan eso, entonces tal vez el debate finalmente cambie a formas en que podemos usar el aprendizaje automático y otros avances tecnológicos para detener realmente la causa raíz del [crimen], dice Richardson. Tal vez podamos resolver la pobreza, el desempleo y los problemas de vivienda utilizando datos del gobierno de una manera más beneficiosa.