211service.com
Una nueva investigación tiene como objetivo resolver el problema del sesgo de la IA en los algoritmos de caja negra
Siobhan Gallagher
Desde seleccionar acciones hasta examinar radiografías, la inteligencia artificial se usa cada vez más para tomar decisiones que antes dependían de los humanos. Pero la IA es tan buena como los datos con los que se entrena y, en muchos casos, terminamos transformando nuestros sesgos demasiado humanos en algoritmos que tienen el potencial de tener un gran impacto en la vida de las personas.
en un nuevo artículo publicado en arXiv , los investigadores dicen que pueden haber descubierto una manera de mitigar el problema de los algoritmos que son difíciles de examinar para los extraños, los llamados sistemas de caja negra.
Un área particularmente preocupante para la aparición de sesgos es el modelado de evaluación de riesgos, que puede decidir, por ejemplo, las posibilidades de que una persona obtenga la libertad bajo fianza o la aprobación de un préstamo. Por lo general, es ilegal considerar factores como la raza en tales casos, pero los algoritmos pueden aprender a reconocer y explotar el hecho de que el nivel de educación o la dirección de una persona pueden correlacionarse con otra información demográfica, lo que puede imbuirlos de prejuicios raciales y de otro tipo.
Lo que hace que este problema sea aún más complicado es que muchas de las IA utilizadas para tomar esas decisiones son cajas negras, o son demasiado complicadas para entenderlas fácilmente o son algoritmos patentados que las empresas se niegan a explicar. Los investigadores han estado trabajando en herramientas para ver lo que está pasando bajo el capó , pero el problema está muy extendido y va en aumento (consulte Los algoritmos sesgados están en todas partes y a nadie parece importarle).
En el documento, Sarah Tan (que trabajaba en Microsoft en ese momento) y sus colegas probaron su método en dos modelos de evaluación de riesgos de caja negra: uno sobre riesgos de préstamos y tasas de incumplimiento de la empresa entre pares LendingClub, y otro de Northpointe , una empresa que brinda servicios basados en algoritmos a tribunales de todo el país, prediciendo el riesgo de reincidencia para los acusados.
Los investigadores utilizaron un enfoque doble para arrojar luz sobre cómo funcionan estos algoritmos potencialmente sesgados. Primero, crearon un modelo que imita el algoritmo de caja negra que se examina y genera una puntuación de riesgo basada en un conjunto inicial de datos, tal como lo harían LendingClub y Northpointe. Luego construyeron un segundo modelo que entrenaron con resultados del mundo real y lo usaron para determinar qué variables del conjunto de datos inicial eran importantes en los resultados finales.
En el caso de LendingClub, los investigadores analizaron datos sobre varios préstamos vencidos entre 2007 y 2011. La base de datos de LendingClub contenía numerosos campos diferentes, pero los investigadores descubrieron que el modelo de préstamos de la empresa probablemente ignoraba tanto los ingresos anuales del solicitante como el propósito del préstamo. . Puede tener sentido ignorar los ingresos, ya que son autoinformados y pueden falsificarse. Pero el propósito del préstamo está altamente relacionado con el riesgo: los préstamos para pequeñas empresas son mucho más riesgosos que los que se usan para pagar bodas, por ejemplo. Entonces, LendingClub parecía estar ignorando una variable importante.
Mientras tanto, Northpointe dice que su algoritmo COMPAS no incluye la raza como una variable al hacer recomendaciones sobre sentencias. Sin embargo, en una investigación de ProPublica , los periodistas recopilaron información racial sobre los acusados que fueron sentenciados con la ayuda de COMPAS y encontraron evidencia de prejuicio racial. En su modelo mímico, los investigadores utilizaron los datos recopilados por ProPublica, así como información sobre la edad, el sexo, el grado de los cargos, la cantidad de condenas anteriores y la duración de cualquier estadía en prisión de los acusados. El método estuvo de acuerdo con los hallazgos de ProPublica, lo que sugiere que COMPAS probablemente estaba sesgado para algunos grupos raciales y de edad.
Los críticos pueden señalar que estas no son réplicas exactas; por necesidad, los investigadores estaban haciendo muchas conjeturas informadas. Pero si la empresa detrás de un algoritmo no está dispuesta a divulgar información sobre cómo funciona su sistema, los modelos de aproximación como los de esta investigación son una forma razonable de obtener información, dice Brendan O'Connor, profesor asistente de la Universidad de Massachusetts. , Amherst, quien ha publicado un artículo sobre el sesgo en el procesamiento del lenguaje natural.
Necesitamos ser conscientes de que esto está sucediendo, y no cerrar los ojos y actuar como si no estuviera sucediendo, dice O'Connor.