El sesgo no es el único problema con los puntajes de crédito, y no, la IA no puede ayudar

Sra. Tecnología | Cindy Tang/Unsplash

Ya sabíamos que los datos sesgados y los algoritmos sesgados sesgan la toma de decisiones automatizada de una manera que pone en desventaja a los grupos minoritarios y de bajos ingresos. Por ejemplo, software utilizado por los bancos predecir si alguien pagará o no la deuda de la tarjeta de crédito generalmente favorece a los solicitantes blancos más ricos. Muchos investigadores y una gran cantidad de nuevas empresas están tratando de solucionar el problema hacer que estos algoritmos sean más justos .

Historia relacionada

La próxima guerra contra los algoritmos ocultos que atrapan a las personas en la pobreza Un grupo creciente de abogados está descubriendo, navegando y luchando contra los sistemas automatizados que niegan a los pobres vivienda, empleo y servicios básicos.

Pero en el el estudio más grande jamás realizado sobre datos hipotecarios del mundo real , los economistas Laura Blattner de la Universidad de Stanford y Scott Nelson de la Universidad de Chicago muestran que las diferencias en la aprobación de hipotecas entre los grupos minoritarios y mayoritarios no se deben solo al sesgo, sino al hecho de que los grupos minoritarios y de bajos ingresos tienen menos datos en su crédito. historias

Esto significa que cuando estos datos se usan para calcular un puntaje crediticio y este puntaje crediticio se usa para hacer una predicción sobre el incumplimiento de un préstamo, entonces esa predicción será menos precisa. Es esta falta de precisión la que conduce a la desigualdad, no solo al sesgo.

Las implicaciones son claras: los algoritmos más justos no solucionarán el problema.

Es un resultado realmente sorprendente, dice Ashesh Rambachan, quien estudia economía y aprendizaje automático en la Universidad de Harvard, pero no participó en el estudio. El sesgo y los registros crediticios irregulares han sido temas candentes durante algún tiempo, pero este es el primer experimento a gran escala que analiza las solicitudes de préstamo de millones de personas reales.

Los puntajes de crédito comprimen una variedad de datos socioeconómicos, como el historial de empleo, los registros financieros y los hábitos de compra, en un solo número. Además de decidir las solicitudes de préstamo, los puntajes de crédito ahora se usan para tomar muchas decisiones que cambian la vida, incluidas las decisiones sobre seguros, contratación y vivienda.

Para averiguar por qué los prestamistas hipotecarios trataban de manera diferente a los grupos minoritarios y mayoritarios, Blattner y Nelson recopilaron informes crediticios de 50 millones de consumidores estadounidenses anónimos y vincularon a cada uno de esos consumidores con sus detalles socioeconómicos tomados de un conjunto de datos de marketing, sus títulos de propiedad transacciones hipotecarias y datos sobre los prestamistas hipotecarios que les otorgaron préstamos.

Una de las razones por las que este es el primer estudio de este tipo es que estos conjuntos de datos a menudo son propietarios y no están disponibles públicamente para los investigadores. Fuimos a una oficina de crédito y básicamente tuvimos que pagarles mucho dinero para hacer esto, dice Blattner.

datos ruidosos

Luego experimentaron con diferentes algoritmos predictivos para demostrar que los puntajes de crédito no solo estaban sesgados sino que eran ruidosos, un término estadístico para los datos que no se pueden usar para hacer predicciones precisas. Tome un solicitante minoritario con un puntaje crediticio de 620. En un sistema sesgado, podríamos esperar que este puntaje siempre exagere el riesgo de ese solicitante y que un puntaje más preciso sería 625, por ejemplo. En teoría, este sesgo podría explicarse mediante alguna forma de acción afirmativa algorítmica, como la reducción del umbral de aprobación de las solicitudes de las minorías.

Historia relacionada

Podcast: ¿Puede AI arreglar su crédito?

El efecto dominó de la automatización en la calificación crediticia se extiende más allá de las finanzas

Pero Blattner y Nelson muestran que el ajuste por sesgo no tuvo efecto. Descubrieron que el puntaje de 620 de un solicitante minoritario era de hecho un indicador pobre de su solvencia crediticia, pero esto se debía a que el error podía ir en ambos sentidos: un 620 podría ser 625 o podría ser 615.

Esta diferencia puede parecer sutil, pero es importante. Debido a que la inexactitud proviene del ruido en los datos y no del sesgo en la forma en que se usan los datos, no se puede solucionar creando mejores algoritmos.

Es un ciclo que se perpetúa a sí mismo, dice Blattner. Damos préstamos a las personas equivocadas y una parte de la población nunca tiene la oportunidad de acumular los datos necesarios para darles un préstamo en el futuro.

Blattner y Nelson luego intentaron medir qué tan grande era el problema. Construyeron su propia simulación de la herramienta de predicción de un prestamista hipotecario y estimaron lo que habría sucedido si los solicitantes límite que habían sido aceptados o rechazados debido a puntajes inexactos hubieran revertido sus decisiones. Para hacer esto, utilizaron una variedad de técnicas, como comparar a los solicitantes rechazados con otros similares que habían sido aceptados, o buscar otras líneas de crédito que habían recibido los solicitantes rechazados, como préstamos para automóviles.

Reuniendo todo esto, conectaron estas decisiones hipotéticas de préstamo precisas en su simulación y midieron la diferencia entre los grupos nuevamente. Descubrieron que cuando se suponía que las decisiones sobre los solicitantes de minorías y de bajos ingresos eran tan precisas como las de los blancos más ricos, la disparidad entre los grupos se redujo en un 50%. Para los solicitantes de minorías, casi la mitad de esta ganancia provino de la eliminación de errores en los que el solicitante debería haber sido aprobado pero no lo fue. Los solicitantes de bajos ingresos vieron una ganancia menor porque se compensó al eliminar los errores que iban en sentido contrario: solicitantes que deberían haber sido rechazados pero no lo fueron.

Blattner señala que abordar esta inexactitud beneficiaría tanto a los prestamistas como a los solicitantes desatendidos. El enfoque económico nos permite cuantificar los costos de los algoritmos ruidosos de manera significativa, dice ella. Podemos estimar cuánta mala asignación de crédito se produce a causa de ello.

corregir errores

Pero solucionar el problema no será fácil. Hay muchas razones por las que los grupos minoritarios tienen datos crediticios ruidosos, dice Rashida Richardson, abogada e investigadora que estudia tecnología y raza en la Universidad Northeastern. Hay consecuencias sociales compuestas donde ciertas comunidades pueden no buscar crédito tradicional debido a la desconfianza en las instituciones bancarias, dice ella. Cualquier arreglo tendrá que lidiar con el causas subyacentes . Revertir generaciones de daños requerirá innumerables soluciones, incluidas nuevas regulaciones bancarias e inversiones en comunidades minoritarias: las soluciones no son simples porque deben abordar muchas malas políticas y prácticas diferentes.

Historia relacionada

Los algoritmos policiales predictivos son racistas. Necesitan ser desmantelados. La falta de transparencia y los datos de capacitación sesgados significan que estas herramientas no son adecuadas para su propósito. Si no podemos arreglarlos, deberíamos deshacernos de ellos.

Una opción a corto plazo puede ser que el gobierno simplemente presione a los prestamistas para que acepten el riesgo de otorgar préstamos a solicitantes de minorías que son rechazados por sus algoritmos. Esto permitiría a los prestamistas comenzar a recopilar datos precisos sobre estos grupos por primera vez, lo que beneficiaría tanto a los solicitantes como a los prestamistas a largo plazo.

Algunos prestamistas más pequeños ya están comenzando a hacer esto, dice Blattner: si los datos existentes no le dicen mucho, salga y haga un montón de préstamos y aprenda sobre las personas. Rambachan y Richardson también ven esto como un primer paso necesario. Pero Rambachan cree que será necesario un cambio cultural para los prestamistas más grandes. La idea tiene mucho sentido para la multitud de ciencia de datos, dice. Sin embargo, cuando habla con esos equipos dentro de los bancos, admiten que no es una opinión generalizada. Suspirarán y dirán que no hay forma de que puedan explicárselo al equipo de negocios, dice. Y no estoy seguro de cuál es la solución a eso.

Blattner también cree que los puntajes de crédito deben complementarse con otros datos sobre los solicitantes, como las transacciones bancarias. Acoge con satisfacción el reciente anuncio de un puñado de bancos, incluido JPMorgan Chase, de que comenzarán a compartir datos sobre las cuentas bancarias de sus clientes como una fuente adicional de información para personas con malos antecedentes crediticios. Pero se necesitará más investigación para ver qué diferencia hará esto en la práctica. Y los organismos de control deberán asegurarse de que un mayor acceso al crédito no vaya de la mano con un comportamiento crediticio abusivo, dice Richardson.

Mucha gente ahora es consciente de los problemas con los algoritmos sesgados, dice Blattner. Quiere que la gente también empiece a hablar de algoritmos ruidosos. El enfoque en el sesgo, y la creencia de que tiene una solución técnica, significa que los investigadores pueden estar pasando por alto el problema más amplio.

A Richardson le preocupa que los legisladores se convenzan de que la tecnología tiene las respuestas cuando no es así. Los datos incompletos son preocupantes porque detectarlos requerirá que los investigadores tengan una comprensión bastante matizada de las desigualdades sociales, dice ella. Si queremos vivir en una sociedad equitativa donde todos sientan que pertenecen y sean tratados con dignidad y respeto, entonces debemos comenzar a ser realistas sobre la gravedad y el alcance de los problemas que enfrentamos.

esconder