Podcast: ¿Puede AI arreglar su crédito?

Sra. Tecnología | pexels

Los puntajes de crédito se han utilizado durante décadas para evaluar la solvencia del consumidor, pero su alcance es mucho mayor ahora que funcionan con algoritmos. No solo consideran muchos más datos, tanto en volumen como en tipo, sino que afectan cada vez más si puede comprar un automóvil, alquilar un departamento u obtener un trabajo de tiempo completo. En esta segunda de una serie sobre la automatización y nuestras billeteras, exploramos cuánto han llegado a afectar las máquinas que determinan nuestra solvencia crediticia mucho más que nuestra vida financiera.

Nos encontramos:

• Chi Chi Wu, abogada del Centro Nacional de Derecho del Consumidor
• Michele Gilman, profesora de derecho en la Universidad de Baltimore
• Mike de Vere, director ejecutivo de Zest AI

Créditos:

Este episodio fue producido por Jennifer Strong, Karen Hao, Emma Cillekens y Anthony Green. Estamos editados por Michael Reilly.

Transcripción:

[ID DE REVISIÓN TÉCNICA]

Miriam : No era raro quedarse fuera de nuestra habitación de hotel o tener una llave que no funcionaba y él tenía que ir a la recepción y manejarla. Y no era raro pagar una cuenta en un restaurante y luego devolver el cheque.

Jennifer: Vamos a llamar a esta mujer Miriam para proteger su privacidad. Tenía 21 años cuando conoció al hombre con el que se casaría... y... en unos pocos años... cambiaría su vida... y su posición financiera... al revés.

Miriam: Pero siempre tenía una razón y siempre era culpa de alguien más.

Jennifer: Cuando se conocieron, Miram tenía dos trabajos, estaba escribiendo presupuestos en una pizarra y estaba haciendo mella en su deuda estudiantil.

Su crédito estaba limpio.

Miriam: Me invitó a cenar y me llevó a pequeños viajes, ya sabes, ofertas de vacaciones de dos o tres noches a la playa o, ya sabes, cosas locales. Y él siempre pagaba por todo y pensé que era muy divertido.

Miriam: Y luego comenzó a preguntar si podía usar mis tarjetas de crédito vacías para uno de sus negocios. Y él cobraba el monto total, alrededor de 5,000 y luego lo pagaba dentro de, quiero decir, dos o tres días cada vez. Y él simplemente lo llamó voltear. Eso sucedió por un tiempo. Y durante eso, eso se convirtió en algo normal. Así que dejé de prestarle atención.

Jennifer: Hasta que un día... todo su mundo se derrumbó.

Miriam: Tuve, vamos a ver a una niña de seis años, una niña de dos años y una niña de cuatro años y es la mañana de Halloween y estamos en el comedor preparándonos para llevarla al preescolar. Y, um, el FBI vino y arrestó a mi esposo y es como en las películas, ya sabes, revisan todas tus cosas y envían a un grupo de hombres con botas embarradas y armas a tu casa.

Jennifer: Un juez federal condenó a su esposo por cometer un cuarto de millón de dólares en fraude electrónico... y Miriam descubrió decenas de miles de dólares en deudas a su nombre.

Ella se quedó para recoger los pedazos... y las finanzas.

Miriam : Quiero decir que mi puntaje de crédito estaba por debajo de 500 en un punto. Quiero decir, simplemente se desplomó y eso toma mucho tiempo para salir, pero he aprendido que es algo poco a poco... en lo que tuve que educarme. Quiero decir, desde toda esta debacle aquí, nunca me he perdido nada. Es como... más importante para mí que la mayoría de las cosas... es mantener mi puntaje de crédito de oro.

Jennifer: Ella es una sobreviviente de lo que se conoce como deuda forzada. Es una forma de abuso económico... por lo general por parte de una pareja o un miembro de la familia.

Miriam: No hay heridas físicas. Correcto. Y hay, esto, no es algo que te guste llamar a la policía por alguien. Y tampoco suele ser una situación hostil. Por lo general, es bonito, es una conversación tranquila en la que se abre camino y luego obtiene lo que quiere.

Jennifer: El abuso económico no es nuevo... pero al igual que el robo de identidad, se ha vuelto mucho más fácil en un mundo digital de formularios en línea y decisiones automatizadas.

Miriam: Sé lo que es un algoritmo. Lo entiendo. Pero, ¿qué quieres decir con mi algoritmo de crédito?

Jennifer: Volvió a ponerse de pie... pero muchos no lo hacen... y a medida que los algoritmos continúan apoderándose de nuestro sistema de crédito financiero... algunos argumentan que esto podría empeorar mucho.

Gilman: Tenemos un sistema que hace que las personas que están experimentando dificultades fuera de su control parezcan vagabundos, lo que a su vez afecta su capacidad para obtener las oportunidades necesarias para escapar de la pobreza y obtener estabilidad económica.

Jennifer: Pero otros argumentan que derecho los algoritmos de calificación crediticia... podrían ser la puerta de entrada a un futuro mejor... en el que se puedan erradicar los sesgos... y el sistema sea más justo.

De Vere: Entonces, desde mi perspectiva, crédito es igual a oportunidad. Es realmente importante como sociedad que lo hagamos bien. Creemos que puede haber una versión 2.0 de eso, aprovechando el aprendizaje automático.

Jennifer: Soy Jennifer Strong y en esta segunda de una serie sobre la automatización y nuestras billeteras... exploramos hasta qué punto las máquinas que determinan nuestra solvencia crediticia... han llegado a afectar mucho más que nuestra vida financiera.

[ID de IMWT]

Jennifer: Solía ​​ser cuando alguien quería un préstamo... formaban relaciones con personas en un banco o cooperativa de crédito que tomaban decisiones sobre qué tan segura o riesgosa parecía esa inversión.

Como esta escena del clásico navideño de 1940, Qué bello es vivir... donde el personaje principal de la película decide prestar su propio dinero a los clientes para mantener su negocio a flote... después de un intento de corrida en el banco.

Jorge: ¡Tengo $2,000! Aquí hay $2000, esto nos atará hasta que el banco vuelva a abrir. Muy bien, Tom, ¿cuánto necesitas?

Tomás: $242.

Jorge: ¡Oh Tom! Solo lo suficiente para sacarte del apuro hasta que el banco vuelva a operar—.

Tomás: ¡Tomaré $242!

Jorge: Ahí tienes.

Tomás: Eso cerrará mi cuenta.

Jorge: Su cuenta todavía está aquí. ¡Eso es un préstamo!

Jennifer: En estos días, los bancos otorgan préstamos sin conocer a muchos de sus clientes... A menudo, estas decisiones están automatizadas... en función de los datos de su informe crediticio... que rastrea cosas como saldos de tarjetas de crédito, préstamos para automóviles, deudas estudiantiles... e incluye una combinación de otros información personal…

En la década de 1950, la industria quería una forma de estandarizar estos informes... por lo que los científicos de datos descubrieron una manera de tomar esa información... ejecutarla a través de un modelo de computadora y escupir un número...

Ese es su puntaje de crédito... y no son solo los bancos quienes los usan para tomar decisiones. Dependiendo de dónde viva, todo tipo de grupos se refieren a este número... incluidos los propietarios... las compañías de seguros... incluso los empleadores.

Wu: Los consumidores no son los clientes de las agencias de crédito. Somos, o nuestros datos son la mercancía. No somos los clientes, somos el pollo. Nosotros, somos lo que se vende...

Jennifer: Chi Chi Wu es defensora del consumidor y abogada en el Centro Nacional de Derecho del Consumidor.

Wu: Y así, como resultado, los incentivos en este mercado están un poco desordenados. Los incentivos son para atender las necesidades de los acreedores y otros usuarios de informes y no de los consumidores.

Jennifer: Cuando se trata de informes crediticios, hay tres guardianes de las llaves... Equifax, Experian y Transunion.

Pero estos informes están lejos de ser exhaustivos... y pueden ser inexactos.

Wu: Hay niveles inaceptablemente altos de errores en los informes de crédito. Um, ahora los datos del estudio definitivo de la comisión federal de comercio encontraron que uno de cada cinco consumidores tenía un error verificado en su informe de crédito. Y uno de cada 20 o 5% tuvo un error tan grave que les negaría el crédito, o tendrían que pagar más.

Jennifer: Las quejas al gobierno federal sobre estos informes se han disparado en los últimos años… ¿y el año pasado durante la pandemia? Las quejas por errores se duplicaron.

Estos representan más de la mitad de todas las quejas presentadas ante la C-F-P-B, o la Oficina de Protección Financiera del Consumidor del gobierno de los EE. UU.

Pero Wu cree que incluso sin ningún error, la forma en que se usan los puntajes de crédito... es un problema.

Wu: Así que el problema son los patrones... los caseros. Comienzan a considerar los informes crediticios y los puntajes crediticios como una especie de reflejo de la responsabilidad subyacente de una persona, su valor como persona, su carácter. Y eso es completamente incorrecto. Lo que vemos es que las personas terminan con información negativa en su informe de crédito porque han tenido problemas financieros porque les ha pasado algo malo. Entonces, las personas que han perdido sus trabajos, que se han enfermado. Um, no pueden pagar sus cuentas. Y esta pandemia es la ilustración perfecta de eso y realmente se puede ver en las disparidades raciales en la calificación crediticia. Los puntajes de crédito para las comunidades negras son mucho más bajos que para las comunidades blancas y para las comunidades latinas X, está en algún punto intermedio. Y no tiene nada que ver con el carácter. Tiene todo que ver con la desigualdad.

Jennifer: Y a medida que la industria reemplaza los métodos más antiguos de calificación crediticia con el aprendizaje automático... le preocupa que esto pueda afianzar el problema.

Wu: Y si no se controla, si no hay un control intencional para esto, si no tenemos cuidado con esto, sucederá lo mismo con esos algoritmos que le sucedió a la puntuación de crédito, que será, impedirán el progreso de las comunidades históricamente marginadas. .

Jennifer: A ella le preocupan especialmente las empresas que prometen que sus algoritmos de calificación crediticia son más justos porque usan datos alternativos... datos que supuestamente son menos propensos al sesgo racial...

Wu: Como la factura de su teléfono celular, o su alquiler, um, hasta el big data más funky y marginal. ¿Qué hay en su feed de redes sociales para el primer tipo de datos alternativos que son algo convencionales o financieros? Mi mantra ha sido el diablo en los detalles. Algunos de esos datos parecen prometedores. Otros tipos de esos datos pueden ser muy riesgosos. Esa es mi preocupación sobre la inteligencia artificial y el aprendizaje automático. No es que nunca debamos usarlos. Simplemente, tienes que usarlos, ¿verdad? Hay que usarlos con intencionalidad. Podrían ser la solución. Si les dicen que uno de sus objetivos es minimizar las disparidades para los grupos marginados. Sabe que su objetivo es ser tan predictivo o más predictivo con menos disparidades.

Jennifer: El Congreso está considerando restringir el uso de informes crediticios por parte de los empleadores... y algunos estados se han movido para prohibirlos en la fijación de tarifas de seguros... o el acceso a viviendas asequibles.

Pero la conciencia también es un problema.

Gilman: Hay muchos daños en los informes de crédito que están afectando a las personas sin su conocimiento. Y si no sabe que ha sido dañado, no puede obtener asistencia ni remedios,

Jennifer: Michelle Gilman es profesora de derecho clínico en la Universidad de Baltimore...

Gilman: No me enseñaron sobre la toma de decisiones algorítmica en la facultad de derecho y la mayoría de los estudiantes de derecho todavía no lo hacen. Y pueden sentirse muy intimidados por la idea de tener que desafiar un algoritmo.

Jennifer: No está segura de cuándo notó por primera vez que los algoritmos tomaban decisiones por sus clientes. Pero se destaca un caso... de un cliente anciano y discapacitado cuyas horas de atención médica domiciliaria bajo el programa de Medicaid se redujeron drásticamente... a pesar de que el cliente estaba cada vez más enfermo...

Gilman: Y no fue hasta que estuvimos ante un juez de derecho administrativo en una audiencia impugnada que quedó claro que la reducción de horas se debió a un algoritmo. Y, sin embargo, el testigo del estado, que era enfermero, no pudo explicar nada sobre el algoritmo. Seguía repitiendo una y otra vez que estaba validado internacional y estadísticamente, pero no podía decirnos cómo funcionaba, qué datos se alimentaban, qué factores pesaba, cómo se pesaban los factores. Entonces, mi estudiante de abogado me mira y nos miramos el uno al otro pensando, ¿cómo examinamos un algoritmo?

Jennifer: Se conectó con otros abogados de todo el país que estaban experimentando lo mismo. Y se dio cuenta de que el problema era mucho más grande...

Gilman: Y cuando se trata de algoritmos, están operando en casi todos los aspectos de la vida de nuestros clientes.

Jennifer: Y los algoritmos de informes crediticios son los más generalizados.

Su firma atiende a víctimas que cargan con deudas inesperadas... a veces debido a dificultades... otras veces por facturas médicas... o... debido al robo de identidad, donde otra persona toma préstamos en su nombre...

Pero el impacto es el mismo... pesa sobre los puntajes crediticios... e incluso cuando se liquida la deuda, puede tener efectos a largo plazo.

Gilman: Como buen abogado de defensa del consumidor, debemos saber que, a veces, no basta con resolver el litigio real que tiene ante usted. También hay que salir y limpiar los efectos dominó de estos sistemas algorítmicos. Muchos abogados de pobreza comparten los mismos prejuicios que la población en general tiene en términos de ver un resultado generado por computadora y pensar que es neutral, objetivo y correcto. De alguna manera es magia. Es como una calculadora. Y ninguna de esas suposiciones es cierta, pero necesitamos la capacitación y los recursos para comprender cómo funcionan estos sistemas. Y luego necesitamos como comunidad desarrollar mejores herramientas para que podamos interrogar esos sistemas para que podamos desafiar estos sistemas.

Jennifer: Después de la pausa... Analizamos el esfuerzo por automatizar la imparcialidad en los informes crediticios.

[medio rollo]

De Vere: AI ayuda de dos maneras: son más datos y mejores matemáticas. Entonces, si piensas en las limitaciones de las matemáticas actuales, ya sabes, pueden extraer un par de docenas de variables. Y, eh, si tratara de describirte a Jennifer, eh, con dos docenas de variables, probablemente podría llegar a una descripción bastante buena, pero imagina si pudiera obtener más datos y te estuviera describiendo con 300 a mil variables que señalan y resuelven dan como resultado una predicción mucho más precisa de su solvencia crediticia como prestatario.

Jennifer: Mike de Vere es el director ejecutivo de Zest AI. Es una de varias empresas que buscan agregar transparencia al proceso de aprobación de créditos y préstamos... con un software diseñado para dar cuenta de algunos de los problemas actuales con los puntajes de crédito... incluidos los prejuicios raciales, de género y otros posibles.

Para entender cómo funciona... primero necesitamos un poco de contexto. En los EE. UU., es ilegal que los prestamistas (que no sean prestamistas hipotecarios) recopilen datos sobre la raza. Esto originalmente estaba destinado a evitar discriminación.

Pero la raza de una persona tiene una fuerte correlación con su nombre... dónde vive... dónde fue a la escuela... y cuánto le pagan. Eso significa... incluso sin datos de carrera... un algoritmo de aprendizaje automático puede aprender a discriminar de todos modos... simplemente porque está integrado.

Por lo tanto, los prestamistas intentan verificar esto y eliminar la discriminación en sus modelos de préstamo. ¿El único problema? Para verificar cómo le está yendo, necesita conocer la raza de los prestatarios... sin eso... los prestamistas se ven obligados a hacer una suposición informada.

De Vere: Entonces, el enfoque aceptado es un acrónimo BISG y básicamente usa dos variables, su código postal y su apellido. Entonces, mi nombre es Mike De Vere y de la parte de California de la que soy, con un nombre como ese saldría como hispano o latino X, pero aun así soy irlandés.

Jennifer: En otras palabras... el estándar de la industria sobre cómo hacer esto a menudo es totalmente incorrecto. Así que su empresa adopta un enfoque diferente.

De Vere: Creemos que puede haber una versión 2.0 de eso, aprovechando el aprendizaje automático.

Jennifer: En lugar de predecir la raza en solo dos variables... utiliza muchas más... como el primer y segundo nombre de la persona... y otros datos geográficos, como su distrito censal... o el distrito de la junta escolar.

Dice que en una prueba reciente en Florida, este método superó al modelo estándar en un 60 por ciento.

De Vere: ¿Por que importa? Eso es importante porque es su vara de medir cómo lo está haciendo.

Jennifer: Luego, adopta un enfoque llamado de sesgo adversarial.

La idea básica es esta . La empresa comienza con un modelo de aprendizaje automático que está capacitado para predecir qué tan riesgoso es un prestatario determinado.

De Vere: Digamos que tiene de 300 a 500 puntos de datos para asignar el riesgo de un individuo.

Jennifer: Entonces tiene un segundo modelo de aprendizaje automático que intenta adivinar la raza de ese prestatario… (basado en los hallazgos del primero).

Si las predicciones del segundo modelo coinciden con los resultados del predictor de carrera... dice que significa que el sistema está codificando sesgo... y debe ajustarse... ajustando cuánto pesa cada uno de los puntos de datos.

De Vere: Entonces, esas 300 a 500 señales que podemos sintonizar hacia arriba o hacia abajo si se convierten en un indicador de raza. Entonces, lo que termina no es solo un modelo de alto rendimiento que ofrece una buena economía, sino que, al mismo tiempo, tiene un modelo que es casi daltónico en ese proceso.

Jennifer: Él dice que ha llevado a prácticas crediticias más inclusivas.

De Vere: Trabajamos con una de las cooperativas de crédito más grandes de los EE. UU. fuera de Florida. Entonces, lo que eso significa para nuestra cooperativa de ahorro y crédito es más síes para más de sus miembros. Pero lo que realmente les entusiasmó fue un aumento del 26 % en la aprobación de las mujeres. Aumento del veinticinco por ciento en la aprobación de miembros de color.

Jennifer: Si bien es alentador... Cualquiera que afirme tener una solución para décadas de daño causado por la toma de decisiones algorítmica... tendrá mucho que superar para ganarse la confianza de la gente.

Es una tarea aún más difícil cuando la solución propuesta para un mal algoritmo... es otro algoritmo.

El Departamento del Tesoro emitió recientemente una guía, destacando el uso de la suscripción de crédito de IA como un riesgo clave para la banca... advirtiendo de los costos que conlleva su naturaleza opaca... y agregando una nota que, cita, ¿la administración del banco?... debería poder explicar y defender las decisiones de suscripción y modelado.

Lo cual... incluso con las herramientas más transparentes... todavía se siente como una tarea difícil.

Y sin la regulación moderna, tampoco está claro quién supervisa estos monitores de calificación crediticia... y quién decide si cosas como los datos telefónicos o la información de las redes sociales son un juego limpio.

Especialmente mientras los resultados finales continúan usándose para fines no crediticios... como empleo o seguros.

[CRÉDITOS]

Este episodio fue producido por mí, Karen Hao, Emma Cillekens y Anthony Green. Estamos editados por Michael Reilly.

Gracias por escuchar, soy Jennifer Strong.

[ID DE REVISIÓN TÉCNICA]

esconder