211service.com
Hay una manera fácil de hacer que los préstamos sean más justos para las mujeres. El problema es que es ilegal.
Puntuaciones de crédito superpuestas en símbolos masculinos y femeninos. Diseño Selman
A principios de esta semana, el Departamento de Servicios Financieros de Nueva York inició una investigación sobre Goldman Sachs por posible discriminación crediticia por género. La investigación se produjo después de que el empresario web David Heinemeier Hansson tuiteara que la Apple Card, que administra Goldman, le había otorgado un límite de crédito 20 veces mayor que el de su esposa, aunque los dos presentaron declaraciones de impuestos conjuntas y ella tenía el mejor puntaje crediticio.
El @AppleCard es un programa jodidamente sexista. Mi esposa y yo presentamos declaraciones de impuestos conjuntas, vivimos en un estado de propiedad comunitaria y hemos estado casados por mucho tiempo. Sin embargo, el algoritmo de caja negra de Apple cree que merezco 20 veces el límite de crédito que ella merece. No funcionan las apelaciones.
- DHH (@dhh) 7 de noviembre de 2019
En respuesta, Goldman publicó un comunicado diciendo que no consideró el género al determinar la solvencia. La lógica probablemente pretendía ser una defensa: ¿cómo puedes discriminar a las mujeres cuando ni siquiera sabes que alguien es mujer? Pero, de hecho, no tener en cuenta el género es precisamente el problema. La investigación sobre equidad algorítmica ha demostrado previamente que considerar el género en realidad ayuda mitigar los prejuicios de género. Irónicamente, sin embargo, hacerlo en los EE. UU. es ilegal.
Ahora, los resultados preliminares de un estudio en curso financiado por la Fundación de las Naciones Unidas y el Banco Mundial desafían una vez más la equidad de los préstamos de crédito ciegos al género. El estudio encontró que la creación de modelos de solvencia completamente separados para hombres y mujeres otorgaba más crédito a la mayoría de las mujeres.
Entonces: ¿debe actualizarse la ley?
El sexismo de ser ciego al género
Si no quiere discriminar por género, ¿por qué no simplemente eliminar el género de la ecuación? Esta fue la premisa de la Ley de Igualdad de Oportunidades de Crédito (ECOA), promulgada en los EE. UU. en 1974, durante una época en que a las mujeres se les negaba regularmente el crédito. Hizo ilegal que cualquier acreedor discrimine por motivos de sexo o considere el sexo al evaluar la solvencia. (En 1976, se actualizó para prohibir la discriminación por raza, origen nacional y otras características protegidas por el gobierno federal).
Pero en el aprendizaje automático, la ceguera de género puede ser el problema. Incluso cuando no se especifica el género, se puede deducir fácilmente de otras variables que se correlacionan mucho con él. Como resultado, los modelos entrenados en datos históricos despojados de género aún amplifican las inequidades pasadas. Lo mismo se aplica a la raza y otras características. Esto es probablemente lo que sucedió en el caso de la Apple Card: debido a que históricamente a las mujeres se les otorgaba menos crédito, el algoritmo aprendió a perpetuar ese patrón.
En un estudio de 2018 , una colaboración entre informáticos y economistas descubrió que la mejor manera de mitigar estos problemas era, de hecho, reintroducir características como el género y la raza en el modelo. Si lo hace, permite un mayor control para medir y revertir cualquier sesgo manifestado, lo que resulta en una mayor equidad en general.
Préstamos de crédito diferenciados por género
El último estudio está probando una nueva hipótesis: ¿los modelos separados para hombres y mujeres reducirían aún más el sesgo de género? En un evento organizado por la Fundación de las Naciones Unidas el martes, Sean Higgins, profesor asistente de la Universidad Northwestern e investigador del estudio, presentó hallazgos preliminares que sugieren que sí.
En asociación con un banco comercial en la República Dominicana, los investigadores realizaron dos análisis separados de 20,000 personas de bajos ingresos, la mitad de ellas mujeres. En el primer análisis, los investigadores utilizaron los historiales de pago de préstamos y el género de las personas para entrenar un único modelo de aprendizaje automático para predecir la solvencia. En el segundo análisis, los investigadores entrenaron un modelo con solo los datos de pago de préstamos de las mujeres. Descubrieron que el 93% de las mujeres obtuvieron más crédito en este modelo que en el que mezclaba hombres y mujeres.
Esto sucede, dice Higgins, porque las mujeres y los hombres tienen diferentes antecedentes crediticios y diferentes comportamientos de pago de préstamos, ya sea por razones históricas, culturales o de otro tipo. Las mujeres, por ejemplo, tienen más probabilidades de pagar sus préstamos, dice. Pero esas diferencias no se tienen en cuenta en el modelo combinado, que aprende a predecir la solvencia sobre la base de los promedios entre mujeres y hombres. En consecuencia, dichos modelos subestiman la probabilidad de que las mujeres paguen sus préstamos y terminan otorgándoles menos crédito del que merecen.
Si bien Higgins y sus colaboradores probaron esta hipótesis específicamente para mujeres de bajos ingresos en la República Dominicana, los resultados cualitativos deberían ser ciertos independientemente del contexto. También deberían aplicarse a características distintas del género y en dominios distintos de las finanzas.
que hacer con la ley
El problema es que este tipo de modelo de un solo género es ilegal. La pregunta es si los formuladores de políticas deberían, por lo tanto, actualizar la ECOA.
Higgins está a favor. La investigación reciente sobre equidad algorítmica ha llegado a una conclusión bastante clara de que deberíamos usar cosas como la raza y el género en los algoritmos, dice. Si los bancos no tienen acceso a esas variables y ni siquiera pueden incorporar los controles de seguridad para asegurarse de que sus algoritmos no estén sesgados, la única forma en que nos enteramos de estos sesgos es cuando las personas tuitean sobre las disparidades que te estás encontrando en la naturaleza.
Pero Andrew Selbst, profesor asistente de derecho en UCLA que se especializa en la intersección de la IA y la ley, advierte que no se debe actuar demasiado rápido. Reescribir la ley de esa manera abre vías para que los malos actores comiencen a incluir variables de raza y género y discriminen salvajemente de una manera que es muy difícil de vigilar, dice. También le preocupa que esta solución no tenga en cuenta a las personas no binarias o trans y les cause daño sin querer.
Para recibir más historias como esta directamente en su bandeja de entrada, suscríbase a nuestro boletín informativo de IA nominado por Webby, The Algorithm. Es gratis.