211service.com
Inspección de algoritmos para sesgo
Los tribunales, los bancos y otras instituciones utilizan sistemas de análisis de datos automatizados para tomar decisiones sobre su vida. No dejemos que los creadores de algoritmos decidan si lo están haciendo correctamente. 12 de junio de 2017
Pablo Delcan
Fue una historia impactante. Machine Bias, el titular leído y el adelanto proclamado : Hay software utilizado en todo el país para predecir futuros delincuentes. Y está sesgado contra los negros.
ProPublica, una organización de noticias sin fines de lucro ganadora del Premio Pulitzer, había analizado un software de evaluación de riesgos conocido como COMPAS. Se está utilizando para pronosticar qué delincuentes tienen más probabilidades de reincidir. Guiados por dichos pronósticos, los jueces en los tribunales de los Estados Unidos toman decisiones sobre el futuro de los acusados y convictos, determinando todo, desde los montos de las fianzas hasta las sentencias. Cuando ProPublica comparó las evaluaciones de riesgo de COMPAS para más de 10.000 personas arrestado en un condado de Florida con la frecuencia con la que esas personas realmente reincidieron, descubrió que el algoritmo predijo correctamente la reincidencia para los acusados blancos y negros en aproximadamente la misma tasa. Pero cuando el algoritmo estaba equivocado, lo estaba de diferentes maneras para los negros y los blancos. Específicamente, los negros tienen casi el doble de probabilidades que los blancos de ser etiquetados como de mayor riesgo, pero en realidad no reinciden. Y COMPAS tendía a cometer el error opuesto con los blancos: es mucho más probable que se les etiquete como de menor riesgo que los negros, pero cometen otros delitos.
Cosas revisadas
Sesgo de máquina
ProPublica, 23 de mayo de 2016
Escalas de riesgo COMPAS: demostración de precisión, equidad y paridad predictiva
Northpointe, 8 de julio de 2016
Respuesta técnica a Northpointe
ProPublica, 29 de julio de 2016
Falsos positivos, falsos negativos y falsos análisis: una réplica al 'sesgo de la máquina'
Anthony Flores, Christopher Lowenkamp y Kristin Bechtel
10 de agosto de 2016
Esta historia fue parte de nuestra edición de julio de 2017
- Ver el resto del número
- Suscribir
Si es apropiado usar sistemas como COMPAS es una cuestión que va más allá de los prejuicios raciales. La Corte Suprema de los EE. UU. pronto podría tomar el caso de un convicto de Wisconsin que dice que se violó su derecho al debido proceso cuando el juez que lo sentenció consultó a COMPAS, porque el funcionamiento del sistema era opaco para el acusado. También existen problemas potenciales con otros sistemas automatizados de toma de decisiones (ADM) fuera del sistema de justicia. Sobre la base de las pruebas de personalidad en línea, los ADM están ayudando a determinar si alguien es la persona adecuada para un trabajo. Los algoritmos de puntuación de crédito juegan un papel muy importante a la hora de obtener una hipoteca, una tarjeta de crédito o incluso las ofertas de telefonía móvil más rentables.
No es necesariamente una mala idea utilizar sistemas de evaluación de riesgos como COMPAS. En muchos casos, los sistemas ADM pueden aumentar la equidad. La toma de decisiones humanas a veces es tan incoherente que necesita supervisión para adecuarla a nuestros estándares de justicia. Como mostró un estudio específicamente inquietante, las juntas de libertad condicional estaban más probabilidades de liberar a los convictos si los jueces hubieran tenido un descanso para comer. Esto probablemente nunca se les había ocurrido a los jueces. Un sistema ADM podría descubrir tales inconsistencias y mejorar el proceso.
Pero a menudo no sabemos lo suficiente sobre cómo funcionan los sistemas ADM para saber si son más justos de lo que serían los humanos por sí solos. En parte porque los sistemas toman decisiones sobre la base de suposiciones subyacentes que no están claras ni siquiera para los diseñadores de sistemas, no es necesariamente posible determinar qué algoritmos están sesgados y cuáles no. E incluso cuando la respuesta parece clara, como en los hallazgos de ProPublica sobre COMPAS, la verdad a veces es más complicada.
Los legisladores, los tribunales y un público informado deben decidir qué queremos que prioricen los algoritmos.
¿Qué debemos hacer para manejar mejor los ADM? Las sociedades democráticas necesitan más supervisión sobre tales sistemas de la que tienen ahora. AlgorithmWatch, una organización de defensa sin fines de lucro con sede en Berlín que cofundé con un informático, un filósofo del derecho y un colega periodista, tiene como objetivo ayudar a las personas a comprender los efectos de tales sistemas. El hecho de que la mayoría de los procedimientos ADM sean cajas negras para las personas afectadas por ellos no es una ley de la naturaleza. Debe terminar, afirmamos en nuestro manifiesto . Aún así, nuestra opinión sobre el tema es diferente de la de muchos críticos, porque nuestro temor es que la tecnología pueda ser satanizada inmerecidamente. Lo importante es que las sociedades, y no solo los creadores de algoritmos, hagan los juicios de valor que se incluyen en los ADM.
Medidas de equidad
COMPAS determina sus puntuaciones de riesgo a partir de las respuestas a una cuestionario que explora el historial criminal del acusado y sus actitudes sobre el crimen. ¿Produce esto resultados sesgados?
Después de la investigación de ProPublica, Northpointe, la empresa que desarrolló COMPAS, cuestionó la historia, argumentando que los periodistas malinterpretaron los datos. Lo mismo hicieron tres investigadores de justicia penal. , incluido uno de una organización de reforma de la justicia. ¿Quién tiene razón, los reporteros o los investigadores? Krishna Gummadi, jefe del Grupo de Investigación de Sistemas en Red del Instituto Max Planck para Sistemas de Software en Saarbrücken, Alemania, ofrece una respuesta sorprendente: todos lo son.
Gummadi, quien ha investigado extensamente la equidad en los algoritmos, dice que los resultados de ProPublica y Northpointe no se contradicen entre sí. Difieren porque utilizan diferentes medidas de equidad.
Si se usan correctamente, los algoritmos de justicia penal ofrecen la oportunidad de una generación, y tal vez de toda una vida, de reformar las sentencias y deshacer el encarcelamiento masivo de manera científica.
Imagine que está diseñando un sistema para predecir qué delincuentes reincidirán. Una opción es optimizar para verdaderos positivos, lo que significa que identificará a la mayor cantidad posible de personas que corren un alto riesgo de cometer otro delito. Un problema con este enfoque es que tiende a aumentar el número de falsos positivos: personas que serán clasificadas injustamente como probables reincidentes. El dial se puede ajustar para ofrecer la menor cantidad posible de falsos positivos, pero eso tiende a crear más falsos negativos: probables reincidentes que se escapan y reciben un trato más indulgente de lo que se merece.
Aumentar la incidencia de verdaderos positivos o reducir los falsos positivos son formas de mejorar una medida estadística conocida como valor predictivo positivo o VPP. Ese es el porcentaje de todos los positivos que son verdaderos.
Como señala Gummadi, ProPublica comparó las tasas de falsos positivos y falsos negativos para negros y blancos y descubrió que estaban sesgadas a favor de los blancos. Northpointe, por el contrario, comparó los PPV de diferentes razas y descubrió que eran similares. En parte porque las tasas de reincidencia para negros y blancos difieren, es matemáticamente probable que los valores predictivos positivos para las personas de cada grupo sean similares, mientras que las tasas de falsos negativos no lo son.
Una cosa que esto nos dice es que la sociedad en general (legisladores, tribunales, un público informado) debe decidir qué queremos que prioricen dichos algoritmos. ¿Estamos interesados principalmente en correr el menor riesgo posible de que alguien se salte la fianza o reincida? ¿Qué compensaciones deberíamos hacer para garantizar la justicia y reducir los costos sociales masivos del encarcelamiento?
No importa de qué manera se configuren los diales, cualquier algoritmo tendrá sesgos; después de todo, está haciendo una predicción basada en estadísticas generalizadas, no en la situación individual de alguien. Pero aún podemos usar tales sistemas para guiar decisiones que son más sabias y justas que las que los humanos tienden a tomar por su cuenta.
La controversia que rodea las prácticas de parar y registrar del Departamento de Policía de Nueva York ayuda a mostrar por qué. Entre enero de 2004 y junio de 2012, la policía de la ciudad de Nueva York realizó 4,4 millones de paradas bajo un programa que permitía a los agentes detener, interrogar y registrar temporalmente a personas en la calle en busca de armas y otro contrabando. Pero, de hecho, el 88 por ciento de los 4.4 millones de detenciones resultaron en ninguna acción adicional, lo que significa que la gran mayoría de las personas detenidas no estaban haciendo nada malo, la New York Times dijo en un editorial denunciando la práctica. Es más: en aproximadamente el 83 por ciento de los casos, la persona detenida era negra o hispana, aunque los dos grupos representaban poco más de la mitad de la población. Este ejemplo de sesgo humano, iluminado a través del análisis de datos, es un recordatorio de que los sistemas ADM podrían desempeñar un papel positivo en la justicia penal. Utilizados correctamente, ofrecen la oportunidad de una generación, y tal vez de toda una vida, de reformar las sentencias y deshacer el encarcelamiento masivo de manera científica, según Anthony Flores, Christopher Lowenkamp y Kristin Bechtel, tres investigadores que encontraron fallas en la metodología que ProPublica utilizado para analizar COMPAS. A los autores les preocupa que esta oportunidad se esté escapando debido a la desinformación y los malentendidos sobre la tecnología.
Pero si aceptamos que los algoritmos pueden hacer la vida más justa si están bien diseñados, ¿cómo podemos saber si están así diseñados?
Las sociedades democráticas deberían estar trabajando ahora para determinar cuánta transparencia esperan de los sistemas ADM. ¿Necesitamos nuevas regulaciones del software para asegurar que pueda ser inspeccionado adecuadamente? Los legisladores, los jueces y el público deberían opinar sobre qué medidas de justicia son priorizadas por los algoritmos. Pero si los algoritmos en realidad no reflejan estos juicios de valor, ¿quién será responsable?
Estas son las preguntas difíciles que debemos responder si esperamos beneficiarnos de los avances en tecnología algorítmica.
Matthias Spielkamp es director ejecutivo de AlgorithmWatch, un grupo de defensa que analiza los riesgos y oportunidades de la toma de decisiones automatizada.