211service.com
Así es como ocurre realmente el sesgo de la IA, y por qué es tan difícil de solucionar
Sra. Tecnología; Foto: PIXOLOGICSTUDIO/SCIENCE PHOTO BIBLIOTECA
En los últimos meses, hemos documentado cómo la gran mayoría de las aplicaciones de IA actuales se basan en la categoría de algoritmos conocida como aprendizaje profundo y cómo los algoritmos de aprendizaje profundo encuentran patrones en los datos. También hemos cubierto cómo estas tecnologías afectan la vida de las personas: cómo pueden perpetuar la injusticia en la contratación, el comercio minorista y la seguridad y es posible que ya lo estén haciendo en el sistema legal penal.
Pero no basta con saber que este sesgo existe. Si queremos poder solucionarlo, primero debemos comprender la mecánica de cómo surge.
Cómo ocurre el sesgo de la IA
A menudo abreviamos nuestra explicación del sesgo de la IA echándole la culpa a los datos de entrenamiento sesgados. La realidad es más matizada: el sesgo puede colarse mucho antes de los datos se recoge así como en muchas otras etapas del proceso de aprendizaje profundo. A los efectos de esta discusión, nos centraremos en tres etapas clave.
Enmarcando el problema. Lo primero que hacen los informáticos cuando crean un modelo de aprendizaje profundo es decidir qué es lo que realmente quieren lograr. Una compañía de tarjetas de crédito, por ejemplo, podría querer predecir la solvencia de un cliente, pero la solvencia es un concepto bastante confuso. Para traducirlo en algo que se pueda calcular, la empresa debe decidir si quiere, por ejemplo, maximizar sus márgenes de beneficio o maximizar la cantidad de préstamos que se reembolsan. Luego podría definir la solvencia dentro del contexto de ese objetivo. El problema es que esas decisiones se toman por varias razones comerciales además de la equidad o la discriminación, explica Solon Barocas, profesor asistente en la Universidad de Cornell que se especializa en equidad en el aprendizaje automático. Si el algoritmo descubriera que otorgar préstamos de alto riesgo era una forma efectiva de maximizar las ganancias, terminaría incurriendo en un comportamiento depredador, incluso si esa no fuera la intención de la empresa.
Recolectando los datos. Hay dos formas principales en que el sesgo aparece en los datos de entrenamiento: los datos que recopila no son representativos de la realidad o reflejan los prejuicios existentes. El primer caso podría ocurrir, por ejemplo, si un algoritmo de aprendizaje profundo recibe más fotos de rostros de piel clara que de rostros de piel oscura. El sistema de reconocimiento facial resultante inevitablemente sería peor para reconocer rostros de piel más oscura. El segundo caso es precisamente lo que sucedió cuando Amazon descubrió que su herramienta interna de reclutamiento era despedir candidatas . Debido a que recibió capacitación sobre decisiones históricas de contratación, que favorecían a los hombres sobre las mujeres, aprendió a hacer lo mismo.
Preparando los datos. Finalmente, es posible introducir sesgos durante la etapa de preparación de datos, lo que implica seleccionar qué atributos desea que considere el algoritmo. (Esto no debe confundirse con la etapa de formulación del problema. Puede usar los mismos atributos para entrenar un modelo para objetivos muy diferentes o usar atributos muy diferentes para entrenar un modelo para el mismo objetivo). En el caso de modelar la solvencia, un atributo podría ser la edad del cliente, los ingresos o el número de préstamos pagados. En el caso de la herramienta de reclutamiento de Amazon, un atributo podría ser el género, el nivel educativo o los años de experiencia del candidato. Esto es lo que la gente suele llamar el arte del aprendizaje profundo: elegir qué atributos considerar o ignorar puede influir significativamente en la precisión de la predicción de su modelo. Pero mientras su impacto en la precisión es fácil de medir, su impacto en el sesgo del modelo no lo es.
Por qué el sesgo de la IA es difícil de corregir
Dado ese contexto, algunos de los desafíos de mitigar el sesgo ya pueden ser evidentes para usted. Aquí destacamos cuatro principales.
Incógnitas desconocidas. La introducción de sesgo no siempre es obvia durante la construcción de un modelo porque es posible que no se dé cuenta de los impactos posteriores de sus datos y elecciones hasta mucho más tarde. Una vez que lo hace, es difícil identificar retroactivamente de dónde vino ese sesgo y luego descubrir cómo deshacerse de él. En el caso de Amazon, cuando los ingenieros descubrieron inicialmente que su herramienta estaba penalizando a las candidatas, la reprogramaron para ignorar palabras de género explícitas como mujeres. Pronto descubrieron que el sistema revisado todavía se estaba recuperando. implícitamente palabras de género —verbos que estaban altamente correlacionados con los hombres sobre las mujeres, como ejecutar y capturar— y usar eso para tomar sus decisiones.
Procesos imperfectos. Primero, muchas de las prácticas estándar en el aprendizaje profundo no están diseñadas teniendo en cuenta la detección de sesgos. Se prueba el rendimiento de los modelos de aprendizaje profundo antes de que se implementen, lo que crea lo que parece ser una oportunidad perfecta para detectar sesgos. Pero en la práctica, las pruebas generalmente se ven así: los científicos informáticos dividen aleatoriamente sus datos antes de entrenamiento en un grupo que realmente se usa para el entrenamiento y otro que está reservado para la validación una vez que se realiza el entrenamiento. Eso significa que los datos que usa para probar el rendimiento de su modelo tienen los mismos sesgos que los datos que usó para entrenarlo. Por lo tanto, no marcará los resultados sesgados o sesgados.
Falta de contexto social. De manera similar, la forma en que se les enseña a los informáticos a enmarcar los problemas a menudo no es compatible con la mejor manera de pensar sobre los problemas sociales. por ejemplo, en un papel nuevo , Andrew Selbst, un postdoctorado en el Instituto de Investigación de Datos y Sociedad, identifica lo que él llama la trampa de la portabilidad. Dentro de la informática, se considera una buena práctica diseñar un sistema que pueda usarse para diferentes tareas en diferentes contextos. Pero lo que eso hace es ignorar una gran cantidad de contexto social, dice Selbst. No se puede diseñar un sistema en Utah y luego aplicarlo directamente en Kentucky porque las diferentes comunidades tienen diferentes versiones de equidad. O no puede tener un sistema que solicite para obtener resultados de justicia penal 'justos' y luego aplicarlos al empleo. La forma en que pensamos sobre la equidad en esos contextos es totalmente diferente.
Las definiciones de equidad. Tampoco está claro cómo debería ser la ausencia de sesgo. Esto no es cierto solo en informática: esta pregunta tiene una larga historia de debate en filosofía, ciencias sociales y derecho. Lo que es diferente acerca de la informática es que el concepto de equidad debe definirse en términos matemáticos, como equilibrar las tasas de falsos positivos y falsos negativos de un sistema de predicción. Pero como han descubierto los investigadores, existen muchas definiciones matemáticas diferentes de equidad que también son mutuamente excluyentes. ¿La equidad significa, por ejemplo, que el misma proporción de las personas blancas y negras deberían obtener puntajes de evaluación de alto riesgo? O que el mismo nivel de riesgo debería resultar en la misma puntuación independientemente de la raza? Es imposible cumplir ambas definiciones al mismo tiempo ( aquí está una mirada más profunda a por qué), así que en algún momento tienes que elegir uno. Pero mientras que en otros campos esta decisión se entiende como algo que puede cambiar con el tiempo, el campo de la informática tiene la noción de que debe ser fija. Al corregir la respuesta, está resolviendo un problema que se ve muy diferente a cómo la sociedad tiende a pensar sobre estos temas, dice Selbst.
A dónde vamos desde aquí
Si te estás recuperando de nuestro recorrido relámpago por el alcance completo del problema del sesgo de la IA, yo también lo estoy. Pero, afortunadamente, un gran contingente de investigadores de IA está trabajando arduamente para abordar el problema. Han adoptado una variedad de enfoques: algoritmos que ayudan detectar y mitigar sesgos ocultos dentro de los datos de entrenamiento o que mitigan el sesgos aprendido por el modelo independientemente de la calidad de los datos; procesos que tienen empresas explicable a los resultados más justos y discusiones que analizan las diferentes definiciones de equidad.
'Arreglar' la discriminación en los sistemas algorítmicos no es algo que pueda resolverse fácilmente, dice Selbst. Es un proceso continuo, como la discriminación en cualquier otro aspecto de la sociedad.
Esto apareció originalmente en nuestro boletín de AI The Algorithm. Para recibirlo directamente en su bandeja de entrada, regístrese aquí de forma gratuita.