El lavado de participación podría ser la próxima moda peligrosa en el aprendizaje automático

Sra. Tecnología | Getty, Unsplash

La comunidad de IA finalmente se está dando cuenta del hecho de que el aprendizaje automático puede causar un daño desproporcionado a grupos ya oprimidos y desfavorecidos. Tenemos activistas y organizadores para agradecer por eso. Ahora, los investigadores y académicos del aprendizaje automático están buscando formas de hacer que la IA sea más justa, responsable y transparente, pero también, recientemente, más participativa.

Uno de los eventos más emocionantes y concurridos del Conferencia Internacional sobre Aprendizaje Automático en julio se llamó Enfoques participativos del aprendizaje automático . Este taller aprovechó la aspiración de la comunidad de construir sistemas algorítmicos más democráticos, cooperativos y equitativos mediante la incorporación de métodos participativos en su diseño. Dichos métodos llevan al proceso de diseño a quienes interactúan con un sistema algorítmico y se ven afectados por él; por ejemplo, pedirles a las enfermeras y a los médicos que ayuden a desarrollar un sistema. herramienta de detección de sepsis .

Esta es una intervención muy necesaria en el campo del aprendizaje automático, que puede ser excesivamente jerárquico y homogéneo. Pero no es una bala de plata: de hecho, el lavado de participación podría convertirse en la próxima moda peligrosa del campo. Eso es lo que yo, junto con mis coautores Emanuel Moss, Olaitan Awomolo y Laura Forlano, argumentamos en nuestro artículo reciente. La participación no es una solución de diseño para el aprendizaje automático .

Ignorar los patrones de opresión y privilegios sistémicos conduce a sistemas de aprendizaje automático que no rinden cuentas que son profundamente opacos e injustos. Estos patrones han impregnado el campo durante los últimos 30 años. Mientras tanto, el mundo ha observado el crecimiento exponencial de la desigualdad de la riqueza y el cambio climático impulsado por los combustibles fósiles. Estos problemas tienen sus raíces en una dinámica clave del capitalismo: la extracción. La participación también se basa a menudo en la misma lógica extractiva, especialmente cuando se trata de aprendizaje automático.

La participación no es gratuita

Comencemos con esta observación: la participación ya es una gran parte del aprendizaje automático, pero de manera problemática. Una forma es la participación como trabajo.

Ya sea que se reconozca o no su trabajo, muchos participantes desempeñan un papel importante en la producción de datos que se utilizan para entrenar y evaluar modelos de aprendizaje automático. Las fotos que alguien tomó y publicó se extraen de la web, y los trabajadores de bajos salarios en plataformas como Amazon Mechanical Turk anotan esas fotos para convertirlas en datos de capacitación. Los usuarios comunes de sitios web también hacen esta anotación cuando completan un reCAPTCHA. Y hay muchos ejemplos de lo que se conoce como trabajo fantasma —Término de la antropóloga Mary Gray para todo el trabajo detrás de escena que se dedica a hacer que sistemas aparentemente automatizados funcionen. Gran parte de esta participación no se compensa adecuadamente y, en muchos casos, apenas se reconoce.

Mientras tanto, la participación como consulta es una tendencia que se observa en campos como el diseño urbano y, cada vez más, también en el aprendizaje automático. Pero la eficacia de este enfoque es limitada. Por lo general, es de corta duración, sin un plan para establecer asociaciones significativas a largo plazo. Las preocupaciones sobre la propiedad intelectual dificultan el examen real de estas herramientas. Como resultado, esta forma de participación es con demasiada frecuencia meramente performativa.

Historia relacionada

Los problemas que tiene la IA hoy en día se remontan a siglos atrás La discriminación algorítmica y el trabajo fantasma no aparecieron por accidente. Comprender su larga y preocupante historia es el primer paso para solucionarlos.

Más prometedora es la idea de participación como justicia . Aquí, todos los miembros del proceso de diseño trabajan juntos en relaciones estrechamente acopladas con comunicación frecuente. La participación como justicia es un compromiso a largo plazo que se enfoca en diseñar productos guiados por personas de diversos orígenes y comunidades, incluida la comunidad de personas con discapacidad, que durante mucho tiempo ha desempeñado un papel papel principal aquí. Este concepto tiene importancia social y política, pero las estructuras del mercado capitalista hacen que sea casi imposible implementarlo bien.

El aprendizaje automático amplía las prioridades más amplias de la industria tecnológica, que se centran en la escala y la extracción. Eso significa que el aprendizaje automático participativo es, por ahora, un oxímoron. Por defecto, la mayoría de los sistemas de aprendizaje automático tienen la capacidad de vigilar, oprimir y coaccionar (incluso en el lugar de trabajo ). Estos sistemas también tienen formas de fabricar el consentimiento, por ejemplo, al exigir a los usuarios que opten por los sistemas de vigilancia para usar ciertas tecnologías, o al implementar configuración por defecto que los disuadan de ejercer su derecho a la privacidad.

Dado eso, no sorprende que el aprendizaje automático no tenga en cuenta las dinámicas de poder existentes y adopte un enfoque extractivo para la colaboración. Si no tenemos cuidado, el aprendizaje automático participativo podría seguir el camino de la ética de la IA y convertirse en otra moda pasajera que se utiliza para legitimar en justicia.

Una mejor manera

¿Cómo podemos evitar estos peligros? No hay una respuesta sencilla. Pero aquí hay cuatro sugerencias:

Reconocer la participación como trabajo. Muchas personas ya usan sistemas de aprendizaje automático a medida que avanzan en su día. Gran parte de esta mano de obra mantiene y mejora estos sistemas y, por lo tanto, es valiosa para los propietarios de los sistemas. Para reconocer eso, se debe solicitar el consentimiento de todos los usuarios y proporcionarles formas de optar por no participar en cualquier sistema. Si eligen participar, se les debe ofrecer una compensación. Hacer esto podría significar aclarar cuándo y cómo se utilizarán los datos generados por el comportamiento de un usuario con fines de capacitación (por ejemplo, a través de un banner en Google Maps o una notificación de suscripción). También significaría proporcionar el apoyo adecuado para moderadores de contenido , compensar de manera justa a los trabajadores fantasma y desarrollar sistemas de recompensas monetarias o no monetarias para compensar a los usuarios por sus datos y trabajo.

Hacer que el contexto de participación sea específico . En lugar de tratar de utilizar un enfoque único para todos, los tecnólogos deben ser conscientes de los contextos específicos en los que operan. Por ejemplo, al diseñar un sistema para predecir la violencia juvenil y de pandillas , los tecnólogos deben reevaluar continuamente las formas en que se basan en la experiencia vivida y la experiencia en el dominio, y colaborar con las personas para las que diseñan. Esto es particularmente importante ya que el contexto de un proyecto cambia con el tiempo. Documentar incluso pequeños cambios en el proceso y el contexto puede formar una base de conocimientos para una participación efectiva a largo plazo. Por ejemplo, ¿solo se debe consultar a los médicos en el diseño de un sistema de aprendizaje automático para la atención clínica, o también se debe incluir a las enfermeras y los pacientes? Dejar en claro por qué y cómo se involucraron ciertas comunidades hace que tales decisiones y relaciones sean transparentes, responsables y accionables.

Planifique la participación a largo plazo desde el principio. Es más probable que las personas permanezcan involucradas en los procesos a lo largo del tiempo si pueden compartir y obtener conocimientos, en lugar de extraerlos de ellos. Esto puede ser difícil de lograr en el aprendizaje automático, particularmente para casos de diseño patentado. Aquí, vale la pena reconocer las tensiones que complican la participación a largo plazo en el aprendizaje automático y reconocer que la cooperación y la justicia no escalan sin fricciones. Estos valores requieren un mantenimiento constante y deben articularse una y otra vez en nuevos contextos.

Aprende de los errores del pasado. Se puede hacer más daño replicando las formas de pensar que originalmente produjeron tecnología dañina. Nosotros, como investigadores, necesitamos mejorar nuestra capacidad de pensamiento lateral en todas las aplicaciones y profesiones. Para facilitar eso, la comunidad de diseño y aprendizaje automático podría desarrollar una base de datos de búsqueda para resaltar las fallas de la participación en el diseño (como Proyecto frente al mar de Sidewalk Labs en Toronto ). Estos fracasos podrían cruzarse con conceptos socioestructurales (como los problemas relacionados con la desigualdad racial). Esta base de datos debe cubrir proyectos de diseño en todos los sectores y dominios, no solo aquellos en aprendizaje automático, y reconocer explícitamente las ausencias y los valores atípicos. Estos casos extremos son a menudo de los que podemos aprender más.

Es emocionante ver que la comunidad de aprendizaje automático adopta cuestiones de justicia y equidad. Pero las respuestas no deberían basarse únicamente en la participación. El deseo de una bala de plata ha plagado a la comunidad tecnológica durante demasiado tiempo. Es hora de aceptar la complejidad que conlleva desafiar la lógica capitalista extractiva del aprendizaje automático.

mona sloane es un sociólogo de la Universidad de Nueva York. Trabaja en la desigualdad del diseño en el contexto del diseño y la política de IA.

esconder