La próxima guerra contra los algoritmos ocultos que atrapan a las personas en la pobreza

daniel zender

Miriam tenía solo 21 años cuando conoció a Nick. Era fotógrafa, recién salida de la universidad, sirviendo mesas. Él era 16 años mayor que ella y dueño de un negocio local que había trabajado en finanzas. Era encantador y carismático; la llevó a citas elegantes y pagó todo. Rápidamente cayó en su órbita.

Comenzó con una tarjeta de crédito. En ese momento, era el único que tenía. Nick lo maximizaría con $ 5,000 en compras comerciales y lo pagaría rápidamente al día siguiente. Miriam, quien me pidió que no usara sus nombres reales por temor a interferir con el proceso de divorcio en curso, descubrió que esto estaba mejorando su puntaje crediticio. Habiendo crecido con un padre soltero en un hogar de bajos ingresos, confiaba en el conocimiento de Nick sobre el suyo propio. Él animó fácilmente la dinámica, diciéndole que ella no entendía de finanzas. Abrió más tarjetas de crédito para él a su nombre.

El problema comenzó tres años después. Nick le pidió que dejara su trabajo para ayudarla con su negocio. Ella hizo. Él le dijo que fuera a la escuela de posgrado y que no se preocupara por aumentar su deuda estudiantil existente. Ella hizo. Prometió encargarse de todo, y ella le creyó. Poco después, dejó de liquidar los saldos de sus tarjetas de crédito. Su puntaje comenzó a desmoronarse.

Aun así, Miriam se quedó con él. Se casaron. Tuvieron tres hijos. Entonces, un día, el FBI llegó a su casa y lo arrestó. En un tribunal federal, el juez lo condenó por casi $250,000 por fraude electrónico. Miriam descubrió el alcance total de las decenas de miles de dólares en deuda que él había acumulado en su nombre. El día que fue a prisión, yo tenía $250 en efectivo, una casa en ejecución hipotecaria, un auto en proceso de recuperación, tres hijos, dice ella. En un mes pasé de tener una niñera y vivir en una casa bonita y todo a una pobreza realmente abyecta.

Miriam es una sobreviviente de lo que se conoce como deuda forzada, una forma de abuso generalmente perpetrada por una pareja íntima o un miembro de la familia. Si bien el abuso económico es un problema de larga data, la banca digital ha facilitado la apertura de cuentas y la obtención de préstamos a nombre de la víctima, dice Carla Sanchez-Adams, abogada de Texas RioGrande Legal Aid. En la era de los algoritmos automatizados de puntuación de crédito, las repercusiones también pueden ser mucho más devastadoras.

Los puntajes crediticios se han utilizado durante décadas para evaluar la solvencia del consumidor, pero su alcance es mucho mayor ahora que funcionan con algoritmos: no solo consideran muchos más datos, tanto en volumen como en tipo, sino que afectan cada vez más si puede comprar un coche, alquilar un apartamento o conseguir un trabajo de tiempo completo. Su influencia integral significa que si su puntaje se arruina, puede ser casi imposible recuperarlo. Peor aún, los algoritmos son propiedad de empresas privadas que no divulgan cómo llegan a sus decisiones. Las víctimas pueden ser enviadas a una espiral descendente que a veces termina en la falta de vivienda o en el regreso a su abusador.

Los algoritmos de calificación crediticia no son los únicos que afectan el bienestar económico de las personas y el acceso a los servicios básicos. Los algoritmos ahora deciden qué niños ingresan al cuidado de crianza, qué pacientes reciben atención médica, qué familias obtienen acceso a una vivienda estable. Aquellos de nosotros con medios podemos pasar nuestras vidas sin saber nada de esto. Pero para las personas de bajos ingresos, el rápido crecimiento y la adopción de sistemas automatizados de toma de decisiones ha creado una red oculta de trampas entrelazadas.

Afortunadamente, un grupo creciente de abogados civiles está comenzando a organizarse en torno a este tema. Tomando prestado un libro de jugadas del rechazo del mundo de la defensa criminal contra los algoritmos de evaluación de riesgos, buscan educarse sobre estos sistemas, construir una comunidad y desarrollar estrategias de litigio. Básicamente, todos los abogados civiles están comenzando a lidiar con estas cosas, porque todos nuestros clientes están siendo tocados de una forma u otra por estos sistemas, dice Michele Gilman, profesora de derecho clínico en la Universidad de Baltimore. Tenemos que despertar, entrenar. Si queremos ser realmente buenos abogados holísticos, debemos ser conscientes de ello.

¿Voy a interrogar un algoritmo?

Gilman ha ejercido la abogacía en Baltimore durante 20 años. En su trabajo como abogada civil y abogada de pobreza, sus casos siempre se han reducido a lo mismo: representar a personas que han perdido el acceso a las necesidades básicas, como vivienda, alimentación, educación, trabajo o atención médica. A veces eso significa enfrentarse a una agencia gubernamental. Otras veces es con una agencia de informes crediticios o con un arrendador. Cada vez más, la lucha por la elegibilidad de un cliente ahora involucra algún tipo de algoritmo.

Esto está sucediendo en todos los ámbitos a nuestros clientes, dice ella. Están enredados en tantos algoritmos diferentes que les impiden acceder a los servicios básicos. Y es posible que los clientes no se den cuenta de eso, porque muchos de estos sistemas son invisibles.

Para las personas de bajos ingresos, una dificultad económica temporal puede conducir a un círculo vicioso que a veces termina en bancarrota o falta de vivienda.

JON TYSON / UNSPLASH

No recuerda exactamente cuándo se dio cuenta de que los algoritmos tomaban algunas decisiones de elegibilidad. Pero cuando esa transición comenzó a ocurrir, rara vez fue obvia. Una vez, ella estaba representando a un cliente anciano discapacitado que inexplicablemente había sido privado de su asistencia médica domiciliaria financiada por Medicaid. No pudimos averiguar por qué, recuerda Gilman. Estaba cada vez más enferma, y ​​normalmente si te enfermas más, tienes más horas, no menos.

No fue sino hasta que estuvieron en la sala del tribunal en medio de una audiencia que el testigo que representaba al estado reveló que el gobierno acababa de adoptar un nuevo algoritmo. La testigo, una enfermera, no pudo explicar nada al respecto. Por supuesto que no, lo compraron listo para usar, dice Gilman. Es enfermera, no informática. No pudo responder qué factores intervienen. ¿Cómo se pondera? ¿Cuáles son los resultados que estás buscando? Así que ahí estoy con mi estudiante de abogado, que está en mi clínica conmigo, y es como, 'Oh, ¿voy a contrainterrogar un algoritmo?'

Para Kevin De Liban, abogado de Legal Aid of Arkansas, el cambio fue igualmente insidioso. En 2014, su estado también instituyó un nuevo sistema para distribuir asistencia domiciliaria financiada por Medicaid, excluyendo a una gran cantidad de personas que anteriormente eran elegibles. En ese momento, él y sus colegas no pudieron identificar la raíz del problema. Sólo sabían que algo era diferente. Pudimos reconocer que hubo un cambio en los sistemas de evaluación de un cuestionario en papel de 20 preguntas a un cuestionario electrónico de 283 preguntas, dice.

Fue dos años más tarde, cuando un error en el algoritmo volvió a ponerlo bajo el escrutinio legal, que De Liban finalmente llegó al fondo del problema. Se dio cuenta de que las enfermeras les decían a los pacientes: Bueno, la computadora lo hizo, no fui yo. Eso fue lo que nos avisó, dice. Si hubiera sabido lo que sabía en 2016, probablemente habría hecho un mejor trabajo de defensa en 2014, agrega.

Una persona recorre tantos sistemas en el día a día

Desde entonces, Gilman se ha vuelto mucho más inteligente. Desde su punto de vista que representa a clientes con una variedad de problemas, ha observado el surgimiento y la colisión de dos redes algorítmicas. El primero consiste en algoritmos de informes crediticios, como los que atraparon a Miriam, que afectan el acceso a bienes y servicios privados como automóviles, viviendas y empleo. El segundo abarca algoritmos adoptados por agencias gubernamentales, que afectan el acceso a beneficios públicos como atención médica, desempleo y servicios de manutención infantil.

Por el lado de los informes crediticios, el crecimiento de los algoritmos ha sido impulsado por la proliferación de datos, que es más fácil que nunca recopilar y compartir. Los informes de crédito no son nuevos, pero en estos días su huella es mucho más amplia. Las agencias de informes del consumidor, incluidas las oficinas de crédito, las empresas de selección de inquilinos o los servicios de verificación de cheques, acumulan esta información de una amplia gama de fuentes: registros públicos, redes sociales, navegación web, actividad bancaria, uso de aplicaciones y más. Luego, los algoritmos asignan puntajes de valía a las personas, que figuran en gran medida en las verificaciones de antecedentes realizadas por prestamistas, empleadores, propietarios e incluso escuelas.

Las agencias gubernamentales, por otro lado, se ven impulsadas a adoptar algoritmos cuando quieren modernizar sus sistemas. El impulso para adoptar aplicaciones y herramientas digitales basadas en la web comenzó a principios de la década de 2000 y ha continuado con un movimiento hacia más sistemas automatizados basados ​​en datos e IA. Hay buenas razones para buscar estos cambios. Durante la pandemia, muchos sistemas de beneficios por desempleo tuvieron problemas para manejar el volumen masivo de nuevas solicitudes, lo que provocó retrasos significativos. La modernización de estos sistemas heredados promete resultados más rápidos y confiables.

Pero el proceso de adquisición de software rara vez es transparente y, por lo tanto, carece de responsabilidad. Las agencias públicas a menudo compran herramientas de toma de decisiones automatizadas directamente de proveedores privados. El resultado es que cuando los sistemas fallan, las personas afectadas, y sus abogados, se quedan en la oscuridad. No lo anuncian en ninguna parte, dice Julia Simon-Mishel, abogada de Philadelphia Legal Assistance. A menudo no está escrito en ningún tipo de guía o manual de políticas. Estamos en desventaja.

La falta de investigación pública también hace que los sistemas sean más propensos a errores. Uno de los fallos de funcionamiento más atroces ocurrió en Michigan en 2013. Después de un gran esfuerzo para automatizar el sistema de beneficios de desempleo del estado, el algoritmo marcó incorrectamente a más de 34,000 personas por fraude . Causó una pérdida masiva de beneficios, dice Simon-Mishel. Hubo quiebras; lamentablemente hubo suicidios. Fue todo un desastre.

A Gilman le preocupa que las deudas y los desalojos relacionados con el coronavirus se codifiquen en puntajes de crédito, lo que dificultará permanentemente que las personas obtengan empleos, apartamentos y préstamos.

IMÁGENES DE SCOTT HEINS/GETTY

Las personas de bajos ingresos son las más afectadas por el cambio hacia los algoritmos. Son las personas más vulnerables a las dificultades económicas temporales que se codifican en los informes de los consumidores, y las que necesitan y buscan beneficios públicos. A lo largo de los años, Gilman ha visto más y más casos en los que los clientes corren el riesgo de entrar en un círculo vicioso. Una persona recorre tantos sistemas en el día a día, dice ella. Quiero decir, todos lo hacemos. Pero las consecuencias son mucho más duras para los pobres y las minorías.

Ella menciona un caso actual en su clínica como ejemplo. Un miembro de la familia perdió el trabajo debido a la pandemia y se le negaron los beneficios de desempleo debido a una falla en el sistema automatizado. Luego, la familia se atrasó en los pagos del alquiler, lo que llevó al propietario a demandarlos por desalojo. Si bien el desalojo no será legal debido a la moratoria de los CDC , la demanda aún se registrará en los registros públicos. Esos registros luego podrían alimentar los algoritmos de selección de inquilinos, lo que podría dificultar que la familia encuentre una vivienda estable en el futuro. El hecho de que no paguen el alquiler y los servicios públicos también podría afectar su puntaje crediticio, lo que una vez más tiene repercusiones. Si están tratando de establecer un servicio de telefonía celular o pedir un préstamo o comprar un automóvil o solicitar un trabajo, solo tiene estos efectos en cascada, dice Gilman.

Cada caso se va a convertir en un caso de algoritmo

En septiembre, Gilman, quien actualmente es miembro de la facultad en el instituto de investigación de Datos y Sociedad, publicó un informe documentando todos los diversos algoritmos que los abogados de pobreza pueden encontrar. Llamado Leygoritmos de pobreza , pretende ser una guía para sus colegas en el campo. Dividido en áreas de práctica específicas como derecho del consumidor, derecho de familia, vivienda y beneficios públicos, explica cómo tratar los problemas planteados por algoritmos y otras tecnologías basadas en datos dentro del alcance de las leyes existentes.

Si a un cliente se le niega un apartamento debido a un puntaje de crédito bajo, por ejemplo, el informe recomienda que un abogado primero verifique si los datos que se ingresan en el sistema de puntaje son precisos. Según la Ley de informes crediticios justos, las agencias de informes deben garantizar la validez de su información, pero esto no siempre sucede. Disputar cualquier reclamo defectuoso podría ayudar a restaurar el crédito del cliente y, por lo tanto, el acceso a la vivienda. El informe reconoce, sin embargo, que las leyes existentes solo pueden llegar hasta cierto punto. Todavía hay vacíos regulatorios que llenar, dice Gilman.

Gilman espera que el informe sea una llamada de atención. Muchos de sus colegas aún no se dan cuenta de que esto está sucediendo y no pueden hacer las preguntas correctas para descubrir los algoritmos. Aquellos que son conscientes del problema están dispersos por los EE. UU., aprendiendo, navegando y luchando contra estos sistemas de forma aislada. Ella ve una oportunidad para conectarlos y crear una comunidad más amplia de personas que puedan ayudarse mutuamente. Todos necesitamos más capacitación, más conocimiento, no solo en la ley, sino en estos sistemas, dice ella. En última instancia, es como si cada caso se convirtiera en un caso de algoritmo.

Historia relacionada

Iniciar sesión para ser expulsado: dentro de la crisis de desalojo virtual de Estados Unidos Miles de inquilinos están siendo expulsados ​​​​de sus hogares por teléfono y videollamada.

A la larga, busca inspiración en el mundo del derecho penal. Los abogados penalistas se han adelantado a la curva, dice, al organizarse como comunidad y rechazar los algoritmos de evaluación de riesgos que determinan las sentencias. Ella quiere ver a los abogados civiles hacer lo mismo: crear un movimiento para traer más control público y regulación a la red oculta de algoritmos que enfrentan sus clientes. En algunos casos, probablemente debería simplemente cerrarse porque no hay forma de hacerlo equitativo, dice ella.

En cuanto a Miriam, después de la condena de Nick, se fue para siempre. Se mudó con sus tres hijos a un nuevo estado y se conectó con una organización sin fines de lucro que apoya a sobrevivientes de deudas forzadas y violencia doméstica. A través de ellos, tomó una serie de clases que le enseñaron a administrar sus finanzas. La organización la ayudó a cancelar muchas de sus deudas forzadas y a aprender más sobre los algoritmos de crédito. Cuando fue a comprar un automóvil, su puntaje de crédito apenas superó el mínimo con su padre como codeudor. Desde entonces, sus pagos constantes de su automóvil y su deuda estudiantil han repuesto lentamente su puntaje crediticio.

Miriam todavía tiene que mantenerse alerta. Nick tiene su número de Seguro Social y aún no están divorciados. A ella le preocupa constantemente que él pueda abrir más cuentas, sacar más préstamos a su nombre. Durante un tiempo, revisó su informe de crédito todos los días en busca de actividad fraudulenta. Pero en estos días, ella también tiene algo que esperar. Su padre, de unos 60 años, quiere jubilarse y mudarse. Los dos ahora están concentrados en prepararse para comprar una casa. Estoy bastante emocionado al respecto. Mi meta es llegar a 700 para fin de año, dice ella sobre su puntaje, y entonces definitivamente estaré lista para comprar una casa.

Nunca he vivido en una casa de mi propiedad, nunca, añade. Él y yo estamos trabajando juntos para ahorrar para un hogar para siempre.

esconder