211service.com
Cómo luchar contra el odio en línea
La científica de datos Jennifer Chayes cree que podemos usar herramientas informáticas para erradicar el mal comportamiento en línea.
27 de octubre de 2021
Christie There Klok
Durante su tiempo en Microsoft y en la academia, Jennifer Chayes ha estado luchando para usar la ciencia de datos y la computación para hacer que la inteligencia artificial sea más justa y menos sesgada.
Desde abandonar la escuela a la edad de 15 años hasta convertirse en el decano de la ciencia de datos en la Universidad de California, Berkeley, Chayes ha tenido una gran trayectoria profesional. Se unió a UCLA en 1987 como profesora titular de matemáticas. Diez años más tarde, Microsoft la atrajo para que cofunde su Grupo Teórico de Investigación interdisciplinario.
Esta historia fue parte de nuestra edición de noviembre de 2021
- Ver el resto del número
- Suscribir
Fue en su laboratorio de Microsoft en la ciudad de Nueva York donde los investigadores descubrieron sesgos en el software de reconocimiento facial de la empresa, lo que demuestra que el sistema clasificaba las caras blancas con más precisión que las caras marrones y negras. Este hallazgo hizo que la empresa rechazara un contrato lucrativo con un departamento de policía y comenzara a trabajar para eliminar el sesgo de tales algoritmos. El Grupo FATE (Equidad, Responsabilidad, Transparencia y Ética en IA) fue creado en el laboratorio.
anil ananthaswamy preguntó Chayes, ahora rector asociado de la División de Informática, Ciencia de Datos y Sociedad y decano de la Escuela de Información de Berkeley, cómo la ciencia de datos está transformando la informática y otros campos.
P: ¿Cómo fue la transición de la academia a la industria?
R: Eso fue todo un shock. El vicepresidente de investigación de Microsoft, Dan Ling, me llamó para tratar de convencerme de ir a una entrevista. Hablé con él durante unos 40 minutos. Y finalmente dije: ¿De verdad quieres saber qué es lo que me molesta? Microsoft es un grupo de adolescentes y no quiero pasar mi vida con un grupo de adolescentes.
P: ¿Cómo reaccionó a eso?
R: Él dijo, Oh, no, no lo somos. Ven a conocernos. Conocí a algunas mujeres increíbles allí cuando visité, y conocí a personas de mente fenomenalmente abiertas que querían probar cosas para cambiar el mundo.
P: ¿Cómo ha cambiado la ciencia de datos la informática?
A: A medida que obtuvimos más datos, la informática comenzó a mirar hacia afuera. Pienso en la ciencia de datos como una combinación de computación, estadística, ética y un énfasis de dominio o un énfasis disciplinario, ya sea biomedicina y salud, clima y sustentabilidad, o bienestar humano y justicia social, etc. Está transformando la informática.
P: ¿Hay alguna diferencia en la forma en que los científicos de datos resuelven problemas?
R: Con la llegada de todos estos datos, tenemos la oportunidad de aprender de los datos sin tener una teoría de por qué sucede algo. Especialmente en esta era de aprendizaje automático y aprendizaje profundo, nos permite sacar conclusiones y hacer predicciones sin una teoría subyacente.
P: ¿Eso puede causar problemas?
A: Algunos lo consideran un problema en los casos en los que tienes, [por ejemplo], datos biomédicos. Los datos predicen con mucha precisión qué va a funcionar y qué no va a funcionar, sin un mecanismo biológico subyacente.
P: ¿Alguna ventaja?
A: Lo que los datos nos han permitido hacer ahora, en muchos casos, es ejecutar lo que un economista llamaría un contrafactual, donde en realidad ves una variación aleatoria en los datos que te permite sacar conclusiones sin hacer los experimentos. Eso es increíblemente útil.
¿Realmente quiero probar diferentes educaciones en diferentes poblaciones? ¿O quiero ver [que] hubo una variación aleatoria en algún punto que me permitirá sacar una inferencia causal realmente buena y, por lo tanto, puedo basar la política en ella?
P: ¿Ve algún problema en cómo se utilizan los datos, especialmente por parte de las grandes empresas?
R: Hay miles de problemas. No solo está siendo utilizado por corporaciones tecnológicas. Está siendo utilizado por las compañías de seguros. Está siendo utilizado por plataformas gubernamentales, plataformas de salud pública y plataformas educativas. Si no comprende explícitamente qué sesgos pueden estar apareciendo, tanto en los conjuntos de datos como en los algoritmos, es probable que exacerbe el sesgo.
Estos sesgos se cuelan [cuando] no hay muchos datos. Y también se puede correlacionar con otros factores. Personalmente trabajé en la interpretación automática de biografías y CV. No se nos permite usar el género o la raza. Incluso si no miro [estos] atributos protegidos, hay muchas cosas [en los datos] que son sustitutos del género o la raza. Si fuiste a ciertas escuelas, si creciste en ciertos barrios, si practicaste ciertos deportes y tuviste ciertas actividades, están correlacionados [con el género o la raza].
P: ¿Los algoritmos detectan estos proxies?
A: Lo exacerban. Debe comprender esto explícitamente y debe evitarlo explícitamente al escribir el algoritmo.
P: ¿Cómo podemos abordar estos problemas?
A: Existe toda esta área de FATE: equidad, responsabilidad, transparencia y ética en IA, que es el diseño de estos algoritmos y la comprensión de lo que son. Pero hay mucho más que tenemos que hacer.
P: ¿Y la ciencia de datos ayuda?
R: Esto es absolutamente ciencia de datos. Hay una parte de la red llamada manosfera, donde se origina mucho odio. Es un poco difícil de rastrear. Pero si usa procesamiento de lenguaje natural y otras herramientas, puede ver de dónde proviene. También puede intentar crear interfaces que permitan a los grupos de defensa y otros encontrar esto y ayudar a erradicarlo. Esto va más allá de ser justo. Esto está cambiando la forma en que estas plataformas han sido usurpadas para aumentar el sesgo y el odio y decir: Vamos a utilizar el poder de la informática y la ciencia de datos para identificar y mitigar el odio.