AI ha exacerbado el sesgo racial en la vivienda. ¿Podría ayudar a eliminarlo en su lugar?

Una discusión sobre si las máquinas pueden ser más justas que los humanos. Por

• Charlton McIlwain página de archivo

20 de octubre de 2020

Andrea Daquino

El próximo número de nuestra revista está dedicado a los problemas a largo plazo. Pocos problemas son a más largo plazo o más intratables que la desigualdad racial sistémica de Estados Unidos. Y una forma particularmente arraigada de esto es la discriminación en la vivienda.

Una larga historia de políticas de bancos, compañías de seguros y corredores de bienes raíces ha negado a las personas de color una oportunidad justa de ser propietarios de viviendas, ha concentrado la riqueza y la propiedad en manos de personas y comunidades blancas y ha perpetuado la segregación de facto. Aunque estas políticas, con nombres como redlining, blockbusting, zonificación racial, pactos restrictivos y dirección racial, ya no son legales, sus consecuencias persisten y, a veces, todavía se practican de forma encubierta o inadvertida.

Esta historia fue parte de nuestra edición de noviembre de 2020

• Ver el resto del número
• Suscribir

En algunos casos, la tecnología ha exacerbado el sesgo racial sistémico de Estados Unidos. Se ha demostrado que el reconocimiento facial basado en algoritmos, la vigilancia predictiva y las decisiones de sentencia y fianza, por ejemplo, producen consistentemente peores resultados para las personas negras. En vivienda, también, una investigación reciente de la Universidad de California, Berkeley, mostró que un sistema de préstamos hipotecarios basado en IA cobraba a los prestatarios negros e hispanos tasas más altas que a los blancos por los mismos préstamos.

¿Podría usarse la tecnología para ayudar a mitigar el sesgo en la vivienda? Reunimos a algunos expertos para discutir las posibilidades. Ellos son:

Arroz

Presidente y CEO de National Fair Housing Alliance, el mayor consorcio de organizaciones dedicadas a acabar con la discriminación en la vivienda.

bobby bartlett

Profesor de derecho en UC Berkeley que dirigió la investigación y proporcionó algunas de las primeras pruebas a gran escala de cómo la inteligencia artificial crea discriminación en los préstamos hipotecarios.

Charlton McIlwain

Profesor de medios, cultura y comunicación en NYU y autor de Black Software: Internet y la justicia racial, de Afronet a Black Lives Matter .

---

Esta discusión ha sido editada y condensada para mayor claridad.

McIlwain: Cuando testifiqué ante el Congreso en diciembre pasado sobre el impacto de la automatización y la IA en la industria de servicios financieros, cité un estudio reciente que encontró que, a diferencia de los oficiales de préstamos humanos, los sistemas automatizados de préstamos hipotecarios aprobaron préstamos hipotecarios de manera justa, sin discriminar por motivos de raza. Sin embargo, los sistemas automatizados aún cobran a los prestatarios negros e hispanos precios significativamente más altos por esos préstamos.

Esto me hace escéptico de que la IA pueda o lo haga mejor que los humanos. Bobby, este era tu estudio. ¿Sacaste las mismas conclusiones?

Bartlett: Tuvimos acceso a un conjunto de datos que nos permitió identificar al prestamista registrado y si ese prestamista utilizó un sistema totalmente automatizado, sin ninguna intervención humana, al menos en términos de aprobación y suscripción. Teníamos información sobre la raza y el origen étnico del prestatario registrado y pudimos identificar si el precio de los préstamos aprobados difería o no según la raza. De hecho, lo hizo, por aproximadamente $ 800 millones al año.

¿Por qué sucede que estos algoritmos, que ignoran la raza o el origen étnico del prestatario, discriminan de esta manera? Nuestra hipótesis de trabajo es que los algoritmos a menudo simplemente intentan maximizar el precio. Presumiblemente, quienquiera que esté diseñando el algoritmo no es consciente de la consecuencia racial de este enfoque único en la rentabilidad. Pero necesitan entender que existe esta dinámica racial, que las variables indirectas que están usando, con toda probabilidad, ahí es donde está la discriminación. En cierto sentido, efectivamente hay una línea roja del tipo más rojo en el código. Se asemeja a lo que sucede en el mercado hipotecario en general. Sabemos que los corredores cotizarán precios más altos a los prestatarios minoritarios, sabiendo que algunos lo rechazarán, pero es más probable que otros lo acepten por una gran cantidad de razones.

McIlwain: Tengo la teoría de que una de las razones por las que terminamos con sistemas sesgados, incluso cuando fueron construidos para ser menos discriminatorios, es porque las personas que los diseñan no entienden realmente la complejidad subyacente del problema. Me parece que hay cierta ingenuidad en pensar que un sistema estaría libre de prejuicios simplemente porque es ciego a la raza.

Arroz: Sabes, Charlton, teníamos la misma perspectiva que tú en los años 90 y principios de los 2000. Prohibimos a las instituciones financieras utilizar sistemas de puntuación de seguros, fijación de precios basados ​​en el riesgo o puntuación crediticia solo con este fin. Nos dimos cuenta de que los propios sistemas estaban manifestando sesgos. Pero luego comenzamos a decir que solo puede usarlos si ayudan a las personas, amplían el acceso o generan precios más justos.

McIlwain: ¿Las personas que diseñan estos sistemas se equivocan porque realmente no entienden fundamentalmente el problema subyacente con la discriminación en la vivienda? ¿Y su fuente de optimismo proviene del hecho de que usted y organizaciones como la suya entienden esa complejidad?

Arroz: Somos una organización de derechos civiles. Eso es lo que somos. Hacemos todo nuestro trabajo a través de una lente de equidad racial. Somos una organización contra el racismo.

En el curso de la resolución de casos de líneas rojas y líneas rojas inversas, alentamos a las instituciones financieras y agencias de seguros a repensar sus modelos comerciales, repensar cómo estaban comercializando, repensar sus pautas de suscripción, repensar los productos que estaban desarrollando. Y creo que la razón por la que pudimos hacer eso es porque somos una agencia de derechos civiles.

Historia relacionada

Por supuesto, la tecnología perpetúa el racismo. Fue diseñado de esa manera. Los afroamericanos han visto cómo se utiliza la tecnología para atacarlos una y otra vez. Detenerlo significa mirar el problema de otra manera.

Comenzamos ayudando a las corporaciones a comprender la historia de la vivienda y las finanzas en los Estados Unidos y cómo todas nuestras políticas de vivienda y finanzas se han impuesto a través de una lente racial. No puede comenzar desde cero en términos de desarrollar un sistema y pensar que el sistema será justo. Tienes que desarrollarlo de una manera que utilice tecnologías y metodologías antirracistas.

McIlwain: ¿Todavía podemos hacer mella en este problema de manera realista utilizando las herramientas tecnológicas a nuestra disposición? Si es así, ¿por dónde empezamos?

Arroz: Sí, una vez que la crisis financiera de 2008 pasó un poco y miramos hacia arriba, fue como si la tecnología nos hubiera superado. Y así decidimos, tal vez si no podemos vencerlo, tal vez nos unamos. Dedicamos mucho tiempo a tratar de aprender cómo funcionan los sistemas algorítmicos, cómo funciona la IA y, de hecho, hemos llegado al punto en el que creemos que ahora podemos usar la tecnología para ayudar a disminuir los resultados discriminatorios.

Si entendemos cómo estos sistemas manifiestan sesgo, podemos entrar en las entrañas, con suerte, y luego eliminar el sesgo de esos sistemas y construir nuevos sistemas que infundan las técnicas de eliminación de sesgo dentro de ellos.

Realmente no tenemos agencias reguladoras que entiendan cómo realizar un examen de una institución de crédito para descubrir si su sistema está sesgado o no.

Pero cuando piensas en lo lejos que estamos de la curva, es realmente desalentador pensar en todo el trabajo que se debe hacer, toda la investigación que se debe hacer. Necesitamos más Bobbys del mundo. Pero también toda la educación que debe hacerse para que los científicos de datos comprendan estos problemas.

Arroz: Estamos tratando de que los reguladores entiendan cómo los sistemas manifiestan sesgos. Sabes, realmente no tenemos un cuerpo de examinadores en las agencias reguladoras que entiendan cómo realizar un examen de una institución de crédito para descubrir si su sistema (su sistema de suscripción automatizado, su sistema de mercadeo, su sistema de servicio) es o no. tendencioso. Pero las propias instituciones desarrollan sus propias políticas organizativas que pueden ayudar.

La otra cosa que tenemos que hacer es realmente aumentar la diversidad en el espacio tecnológico. Tenemos que atraer a más estudiantes de diversos orígenes a los campos STEM y al espacio tecnológico para ayudar a promulgar el cambio. Puedo pensar en una serie de ejemplos en los que el simple hecho de tener una persona de color en el equipo hizo una gran diferencia en términos de aumentar la equidad de la tecnología que se estaba desarrollando.

McIlwain: ¿Qué papel juega la política? Tengo la sensación de que, de la misma manera que las organizaciones de derechos civiles estaban detrás de la industria en términos de comprender cómo funcionan los sistemas algorítmicos, muchos de nuestros legisladores están detrás de la curva. No sé cuánta fe pondría en su capacidad para servir de manera realista como un control efectivo del sistema, o en los nuevos sistemas de inteligencia artificial que se abren paso rápidamente en el campo de las hipotecas.

McIlwain: Sigo siendo escéptico. Por ahora, para mí, la magnitud del problema aún supera con creces tanto nuestra voluntad humana colectiva como las capacidades de nuestra tecnología. Bobby, ¿crees que la tecnología pueda ayudar alguna vez?
¿este problema?

Bartlett: Tengo que responder eso con la legalidad. Depende. Lo que vemos, al menos en el contexto de los préstamos, es que puede eliminar la fuente de sesgo y discriminación que observó con las interacciones cara a cara a través de algún tipo de toma de decisiones algorítmica. La otra cara de la moneda es que, si se implementa incorrectamente, podría terminar con un aparato de toma de decisiones que es tan malo como un régimen de líneas rojas. Entonces, realmente depende de la ejecución, el tipo de tecnología y el cuidado con el que se implementa. Pero, ¿un régimen de préstamo justo que se pone en funcionamiento a través de la toma de decisiones automatizada? Creo que es una propuesta realmente desafiante. Y creo que el jurado aún está deliberando.

esconder