211service.com
La IA está enviando gente a la cárcel y se está equivocando
Ian Waldie/imágenes falsas
Es posible que la IA no parezca tener un gran impacto personal si su roce más frecuente con los algoritmos de aprendizaje automático es a través de las noticias de Facebook o las clasificaciones de búsqueda de Google. pero en el Datos para Black Lives conferencia el fin de semana pasado, tecnólogos, expertos legales y activistas comunitarios pusieron las cosas en perspectiva con una discusión sobre el sistema de justicia penal de Estados Unidos. Allí, un algoritmo puede determinar la trayectoria de tu vida.
Estados Unidos encarcela a más personas que cualquier otro país del mundo. A finales de 2016, casi 2,2 millones de adultos estaban recluidos en prisiones o cárceles, y otros 4,5 millones estaban en otras instalaciones correccionales. Dicho de otra manera, 1 de cada 38 adultos estadounidenses estaba bajo algún tipo de supervisión correccional. La pesadilla de esta situación es uno de los pocos temas que unen a los políticos de ambos lados del pasillo.
Bajo una inmensa presión para reducir el número de reclusos sin correr el riesgo de un aumento de la delincuencia, los juzgados de los EE. UU. recurrieron a herramientas automatizadas en un intento de pasar a los acusados por el sistema legal de la manera más eficiente y segura posible. Aquí es donde comienza la parte de la IA de nuestra historia.
Los departamentos de policía utilizan algoritmos predictivos para elaborar estrategias sobre dónde enviar sus filas. Los organismos encargados de hacer cumplir la ley utilizan sistemas de reconocimiento facial para ayudar a identificar a los sospechosos. Estas prácticas han obtenido un merecido escrutinio para determinar si de hecho mejoran la seguridad o simplemente perpetúan las desigualdades existentes. Investigadores y defensores de los derechos civiles , por ejemplo, han demostrado repetidamente que los sistemas de reconocimiento facial pueden fallar espectacularmente, en particular para las personas de piel oscura, incluso confundiendo a los miembros del Congreso con delincuentes convictos.
Pero la herramienta más controvertida llega después de que la policía realiza un arresto. Saluda a los algoritmos de evaluación de riesgos penales.
Las herramientas de evaluación de riesgos están diseñadas para hacer una cosa: tomar los detalles del perfil de un acusado y escupir un puntaje de reincidencia, un número único que estima la probabilidad de que él o ella vuelva a delinquir. Luego, un juez considera ese puntaje en una miríada de decisiones que pueden determinar qué tipo de servicios de rehabilitación deben recibir los acusados en particular, si deben permanecer en la cárcel antes del juicio y qué tan severas deben ser sus sentencias. Una puntuación baja allana el camino para un destino más amable. Una puntuación alta hace precisamente lo contrario.
La lógica para usar tales herramientas algorítmicas es que si puede predecir con precisión el comportamiento delictivo, puede asignar recursos en consecuencia, ya sea para rehabilitación o para sentencias de prisión. En teoría, también reduce cualquier sesgo que influya en el proceso, porque los jueces toman decisiones sobre la base de recomendaciones basadas en datos y no en su instinto.
Es posible que ya hayas detectado el problema. Las herramientas modernas de evaluación de riesgos a menudo están impulsadas por algoritmos entrenados en datos históricos de delitos.
Como hemos cubierto antes, los algoritmos de aprendizaje automático usan estadísticas para encontrar patrones en los datos. Entonces, si lo alimenta con datos históricos de delitos, seleccionará los patrones asociados con el delito. Pero esos patrones son estadísticos. correlaciones —ni de lejos lo mismo que causas . Si un algoritmo encontrara, por ejemplo, que los bajos ingresos se correlacionan con una alta reincidencia, no le dejaría saber si los bajos ingresos realmente causaron el crimen. Pero esto es precisamente lo que hacen las herramientas de evaluación de riesgos: convierten los conocimientos correlativos en mecanismos de calificación causal.
Ahora, las poblaciones que históricamente han sido atacadas de manera desproporcionada por las fuerzas del orden, especialmente las comunidades minoritarias y de bajos ingresos, corren el riesgo de recibir altas puntuaciones de reincidencia. Como resultado, el algoritmo podría amplificar y perpetuar los sesgos incrustados y generar aún más datos contaminados por sesgos para alimentar un círculo vicioso. Debido a que la mayoría de los algoritmos de evaluación de riesgos son propietarios, también es imposible cuestionar sus decisiones o responsabilizarlos.
El debate sobre estas herramientas aún continúa. En julio pasado, más de 100 organizaciones comunitarias y de derechos civiles, incluidas la ACLU y la NAACP, firmado una declaración instando contra el uso de la evaluación de riesgos. Al mismo tiempo, más y más jurisdicciones y estados, incluido California, se han dirigido a ellos en un esfuerzo de avemaría para arreglar sus cárceles y prisiones sobrecargadas.
La evaluación de riesgos basada en datos es una forma de desinfectar y legitimar los sistemas opresivos, dijo Marbre Stahly-Butts, directora ejecutiva de Law for Black Lives. en el escenario de la conferencia , que fue alojado en el MIT Media Lab. Es una forma de desviar la atención de los problemas reales que afectan a las comunidades minoritarias y de bajos ingresos, como las escuelas sin fondos y el acceso inadecuado a la atención médica.
No somos riesgos, dijo. Somos necesidades.
Esta historia apareció originalmente en nuestro boletín informativo de IA El Algoritmo. Para recibirlo directamente en su bandeja de entrada, suscríbase aquí de forma gratuita.