Un algoritmo médico sesgado favoreció a los blancos para los programas de atención médica

Categoría: Inteligencia artificial Al corriente Oct 25

Un estudio ha destacado los riesgos inherentes al uso de datos históricos para entrenar algoritmos de aprendizaje automático para hacer predicciones.

Las noticias: Un algoritmo que muchos proveedores de salud de EE. UU. usan para predecir qué pacientes necesitarán más atención médica adicional privilegia a los pacientes blancos sobre los pacientes negros, según investigadores de UC Berkeley, cuyo estudio fue publicado en ciencia . Efectivamente, adelantó a los blancos en la fila para recibir tratamientos especiales para afecciones complejas como problemas renales o diabetes.

El estudio: Los investigadores revisaron casi 50.000 registros de un gran hospital académico no revelado. Descubrieron que a los pacientes blancos se les asignaban puntajes de riesgo más altos y, por lo tanto, era más probable que fueran seleccionados para atención adicional (como más citas de enfermería o dedicadas) que los pacientes negros que, de hecho, estaban igualmente enfermos. Los investigadores calcularon que el sesgo redujo en más de la mitad la proporción de pacientes negros que recibieron ayuda adicional.

¿Qué software era este? Los investigadores no lo dijeron, pero el El Correo de Washington lo identifica como Optum, propiedad de la aseguradora UnitedHealth. Dice que su producto se utiliza para gestionar más de 70 millones de vidas. Aunque los investigadores solo se centraron en una herramienta en particular, identificaron la misma falla en los 10 algoritmos más utilizados en la industria. Cada año, estas herramientas se aplican colectivamente a un estimado de 150 a 200 millones de personas en los EE. UU.

Cómo se deslizó el sesgo: La raza no fue un factor en la toma de decisiones del algoritmo (eso sería ilegal); utilizó los historiales médicos de los pacientes para predecir cuánto costarían probablemente al sistema de salud. Pero el costo no es una métrica ciega a la raza: por razones socioeconómicas y de otro tipo, los pacientes negros históricamente han incurrido en costos de atención médica más bajos que los pacientes blancos con las mismas condiciones. Como resultado, el algoritmo les dio a los pacientes blancos las mismas puntuaciones que a los pacientes negros que estaban significativamente más enfermos.

Una pequeña gracia salvadora: Los investigadores trabajaron con Optum para corregir el problema. Redujeron la disparidad en más del 80 % al crear una versión que predice tanto los costos futuros de un paciente como la cantidad de veces que una afección crónica podría reaparecer durante el próximo año. Por lo tanto, el sesgo algorítmico se puede corregir si, y lamentablemente, es un gran si, puede detectarlo.

Por qué importa: El estudio es el último en mostrar los peligros de asignar recursos importantes de acuerdo con la recomendación de los algoritmos. Este tipo de desafíos se presentan no solo en el cuidado de la salud, sino también en la contratación, la calificación crediticia, los seguros y la justicia penal.

Lea a continuación: nuestro explicador interactivo sobre cómo el sesgo de la IA afecta el sistema legal penal y por qué es tan difícil de eliminar.