211service.com
Algoritmos secretos amenazan el estado de derecho
Predecir y dar forma a lo que hará a continuación, ya sea como comprador, trabajador o votante, es un gran negocio para las empresas basadas en datos. Pero, ¿deberían sus métodos informar también a los jueces y fiscales? Un ambicioso programa para predecir la reincidencia entre los convictos está llevando evaluaciones de riesgo algorítmicas a los juzgados estadounidenses.
Estas evaluaciones son una extensión de una tendencia hacia instrumentos de predicción actuarial por riesgo de reincidencia. Pueden parecer científicos, una inyección de racionalidad computacional en un sistema de justicia penal plagado de discriminación e ineficiencia. Sin embargo, son preocupantes por varias razones: muchos se calculan en secreto; niegan el debido proceso y explicaciones inteligibles a los acusados; y promueven una visión cascarrabias e inhumana del papel del castigo en la sociedad.
Comencemos con el secreto, un factor que aparentemente ha alarmado incluso a la Corte Suprema en el caso de la puntuación de riesgo COMPAS de la empresa Northpointe. En Loomis contra Wisconsin , un juez rechazó un acuerdo de culpabilidad y sentenció a un acusado (Loomis) a un castigo más severo en parte porque una puntuación de riesgo COMPAS lo consideró con un riesgo de reincidencia superior al promedio. Loomis apeló la sentencia, argumentando que ni él ni el juez podían examinar la fórmula para la evaluación de riesgos: era un secreto comercial.
franco pascual
El estado de Wisconsin respondió que Northpointe le exigía que mantuviera la confidencialidad de los algoritmos para proteger la propiedad intelectual de la empresa. Y la Corte Suprema de Wisconsin confirmó la sentencia de Loomis, argumentando que la evaluación del riesgo era solo una parte de la justificación de la sentencia. Quería continuar brindando a los jueces la oportunidad de tener en cuenta la puntuación COMPAS como parte de la justificación de su sentencia, incluso si no tenían idea de cómo se calculaba.
Abogados , académicos y activistas ahora están cuestionando ese razonamiento. Los procesos judiciales son, en general, abiertos al público. Los jueces deben dar razones de sus acciones más importantes, como la sentencia. Cuando un proceso de puntuación algorítmica se mantiene en secreto, es imposible de desafiar aspectos clave de la misma. ¿Cómo pondera el algoritmo diferentes puntos de datos y por qué? Cada una de estas consultas es crucial para dos principios legales fundamentales: el debido proceso y la capacidad de apelar de manera significativa una decisión adversa.
El debido proceso es un concepto abierto, pero crítico para los sistemas legales legítimos. Este principio constitucional básico otorga a los acusados el derecho a comprender de qué se les acusa y cuáles son las pruebas en su contra. Un algoritmo secreto de evaluación de riesgos que ofrece una puntuación condenatoria es similar a la evidencia ofrecida por un experto anónimo , a quien no se puede contrainterrogar. Cualquier tribunal que conozca los principios fundamentales del estado de derecho, así como los principios de notificación y explicación de las decisiones de la Quinta y la Decimocuarta Enmienda, sería muy cauteloso al permitir que un estado base sentencias (aunque solo sea en parte) en un algoritmo secreto.
Dos formas de sesgo de automatización también amenazan el derecho a una apelación significativa. Es muy probable que los jueces supongan que los métodos cuantitativos son superiores al razonamiento verbal ordinario y que reduzcan la tarea en cuestión (la sentencia) a una aplicación de los datos cuantitativos disponibles sobre el riesgo de reincidencia. Ambas respuestas socavan la complejidad y el juicio humano necesarios para dictar sentencia.
Peor aún, cuando las empresas ofrecen razones comerciales para mantener su salsa secreta fuera de la vista del público, los tribunales han estado ansiosos por proteger los secretos comerciales de las empresas calificadoras. Esa tendencia es preocupante. en contextos del sector privado , ya que los delitos comerciales pueden cometerse con impunidad gracias a la opacidad de los sistemas de clasificación y clasificación. Incluso en el contexto de votación , las autoridades han sido lentas a la hora de exigir software que sea auditable y comprensible por extraños . No obstante, el caso de la sentencia penal debería ser un puente demasiado lejano para los jueces concienzudos, y eso probablemente explica la decisión de la Corte Suprema de EE. UU. interesar en Loomis. Enviar a alguien a la cárcel gracias a los juicios inexplicables e incuestionables de un programa informático secreto es demasiado Espejo negro incluso para los defensores empedernidos de los privilegios corporativos.
Además, hay opciones entre el secreto algorítmico completo y la divulgación pública completa. como yo explicado en 2010, la transparencia calificada es un método bien establecido para permitir que ciertos expertos evalúen los secretos comerciales protegidos (incluidos el código y los datos de las empresas) para probar la calidad, validez y confiabilidad de un sistema. Piense en un maestro especial en un caso judicial o en instalaciones de información compartimentada segura para agencias de inteligencia. Como mínimo, los gobiernos no deberían usar algoritmos como el puntaje COMPAS sin algún tipo de garantía de calidad externa habilitada por transparencia calificada.
Pero el secreto no es el único problema aquí. Suponga que la evaluación algorítmica de riesgos finalmente se vuelve más pública, con fórmulas y datos totalmente transparentes. Todavía existen serias preocupaciones sobre el uso de sentencias basadas en evidencia, ya que el análisis predictivo cuantitativo a menudo se comercializa en contextos de justicia penal.
Por ejemplo, la experta en derecho Sonja Starr ha argumentó que lo que es realmente crítico en el contexto de la sentencia no es solo la reincidencia en sí misma, sino la diferencia que una pena de prisión más larga hará en la probabilidad de que un convicto reincida. La evaluación de riesgos algorítmica puede llegar a ser muy buena para predecir reincidencias, pero ¿qué pasa con una evaluación de riesgos de la evaluación de riesgos en sí misma, es decir, el peligro de que una sentencia más larga para un delincuente de alto riesgo se convierta en una profecía autocumplida, dado el entorno criminógeno de muchas prisiones?
También hay valor en la inteligibilidad narrativa en la clasificación y calificación de los seres humanos. Las empresas utilizan análisis de marketing para predecir no solo la probabilidad de reincidencia delictiva, sino también las posibilidades de que una persona determinada sea mentalmente enfermo , un malo empleado , a estudiante reprobado , a delincuente , o un terrorista . Incluso si podemos dejar de lado las preocupaciones de la profecía autocumplida planteadas anteriormente, estas evaluaciones deben implementarse solo con la máxima precaución. Una vez utilizados para asesorar a la policía, DHS, maestros o jefes, no son meras opiniones que circulan en un flujo libre de ideas. Más bien, pueden tener un impacto directo en los medios de subsistencia, la libertad y la educación de las personas. Si no pueden explicarse de forma narrativamente inteligible, tal vez no deberían utilizarse en absoluto sin el consentimiento directo de la persona que están evaluando.
Esta opinión puede no sentar bien a aquellos que ven la inteligencia artificial como el próximo paso en la evolución humana. El robótico Hod Lipson memorablemente comparado esfuerzos para hacer que el procesamiento de información algorítmica avanzada sea comprensible para los humanos para explicarle Shakespeare a un perro. Pero esta metáfora cargada oculta más de lo que revela. Al menos por ahora, los humanos están a cargo de los gobiernos y pueden exigir explicaciones de las decisiones en lenguaje natural, no en código de computadora. No hacerlo en el contexto criminal corre el riesgo de ceder funciones inherentemente gubernamentales y legales a una élite informática que no rinde cuentas.
franco pascual es profesor de derecho en la Universidad de Maryland y autor de La sociedad de la caja negra .