Los algoritmos sesgados están en todas partes y a nadie parece importarle

Kate Crawford, hablando en la conferencia AI Now en el MIT esta semana. Juan Maeda (@juanmaeda)

Los modelos matemáticos opacos y potencialmente sesgados están rehaciendo nuestras vidas, y ni las empresas responsables de desarrollarlos ni el gobierno están interesados ​​en abordar el problema.

Esta semana, un grupo de investigadores, junto con la Unión Estadounidense de Libertades Civiles, lanzó un esfuerzo para identificar y resaltar el sesgo algorítmico. El Iniciativa AI Now fue anunciado en un evento realizado en el MIT para discutir lo que muchos expertos ven como un desafío creciente.

El sesgo algorítmico se perfila como un problema social importante en un momento crítico en la evolución del aprendizaje automático y la IA. Si el sesgo que acecha dentro de los algoritmos que toman decisiones cada vez más importantes no se reconoce ni se controla, podría tener graves consecuencias negativas, especialmente para las comunidades más pobres y las minorías. La eventual protesta también podría obstaculizar el progreso de una tecnología increíblemente útil (ver Inspección de algoritmos para sesgo).

Los algoritmos que pueden ocultar sesgos ocultos ya se utilizan de forma rutinaria para tomar decisiones financieras y legales vitales. Los algoritmos patentados se utilizan para decidir, por ejemplo, quién obtiene una entrevista de trabajo, quién obtiene la libertad condicional y quién obtiene un préstamo.

Los fundadores de la nueva iniciativa AI Now, kate crawford , investigadora de Microsoft, y Meredith Whittaker, investigadora de Google, dicen que puede existir sesgo en todo tipo de servicios y productos.

Todavía es pronto para comprender el sesgo algorítmico, dijeron Crawford y Whittaker en un correo electrónico. Solo este año hemos visto más sistemas que tienen problemas, y estos son solo los que se han investigado.

Los ejemplos de sesgo algorítmico que han salido a la luz últimamente, dicen, incluyen fallas y tergiversaciones sistemas utilizados para clasificar a los maestros y modelos con sesgo de género para el procesamiento del lenguaje natural.

Cathy O'Neil, matemática y autora de Armas de destrucción matemática , un libro que destaca el riesgo del sesgo algorítmico en muchos contextos, dice que las personas a menudo están demasiado dispuestas a confiar en los modelos matemáticos porque creen que eliminarán el sesgo humano. [Los algoritmos] reemplazan los procesos humanos, pero no están sujetos a los mismos estándares, dice ella. La gente confía demasiado en ellos.

Un desafío clave, dicen estos y otros investigadores, es que las partes interesadas cruciales, incluidas las empresas que desarrollan y aplican sistemas de aprendizaje automático y los reguladores gubernamentales, muestran poco interés en monitorear y limitar el sesgo algorítmico. Las empresas financieras y tecnológicas utilizan todo tipo de modelos matemáticos y no son transparentes sobre cómo operan. O'Neil dice, por ejemplo, que le preocupa cómo funcionan los algoritmos detrás del nuevo servicio de búsqueda de empleo de Google.

Historia relacionada

Historia relacionada Sin asesores de ciencia y tecnología en la Casa Blanca, el presidente Trump podría tener dificultades para responder a las crisis.

O'Neil trabajó anteriormente como profesor en Barnard College en Nueva York y analista cuantitativo en la empresa D. E. Shaw. Ella es ahora la jefa de Consultoría de riesgos en línea y auditoría algorítmica , una empresa creada para ayudar a las empresas a identificar y corregir los sesgos en los algoritmos que utilizan. Pero O'Neil dice que incluso aquellos que saben que sus algoritmos corren el riesgo de sesgo están más interesados ​​en el resultado final que en eliminar el sesgo. Seré honesto contigo, dice ella. No tengo clientes en este momento.

O'Neil, Crawford y Whittaker también advierten que la falta de interés de la administración Trump en la IA, y en la ciencia en general, significa que no hay un movimiento regulatorio para abordar el problema (ver The Gaping, Dangerous Hold in the Trump Administration).

La Oficina de Política Científica y Tecnológica ya no participa activamente en la política de IA, ni mucho menos, según su sitio web, escriben Crawford y Whittaker. El trabajo de políticas ahora debe hacerse en otros lugares.

esconder