La lucha de dos años para evitar que Amazon venda reconocimiento facial a la policía

Sra. Tecnología | Getty

En el verano de 2018, casi 70 organizaciones de investigación y derechos civiles escribió una carta a Jeff Bezos exigiendo que Amazon deje de proporcionar tecnología de reconocimiento facial a los gobiernos. Como parte de un mayor enfoque en el papel que las empresas de tecnología estaban jugando en permitir el seguimiento y la deportación de inmigrantes por parte del gobierno de EE. UU. , hizo un llamado a Amazon para que defienda los derechos civiles y las libertades civiles. Como se anuncia, dijo, Rekognition es un poderoso sistema de vigilancia fácilmente disponible para violar los derechos y atacar a las comunidades de color.

Junto con la carta, la Unión Americana de Libertades Civiles (ACLU) de Washington entregó más de 150.000 firmas de petición, así como otra carta de los propios accionistas de la empresa expresando demandas similares. Unos días después, los empleados de Amazon se hicieron eco de las preocupaciones en una nota interna .

A pesar de la creciente presión, Amazon continuó con sus negocios como de costumbre. Empujó a Rekognition como una herramienta para monitorear personas de interés y duplicado en proporcionar otras tecnologías de vigilancia a los gobiernos. La subsidiaria de la compañía, Ring, por ejemplo, adquirida solo unos meses antes, rápidamente se asoció con más de 1,300 agencias de aplicación de la ley utilizar imágenes de las cámaras de seguridad de su hogar en investigaciones criminales.

Pero el miércoles 10 de junio, Amazon sorprendió a los activistas e investigadores de derechos civiles cuando anunció que impondría una moratoria de un año al uso policial de Rekognition. El movimiento siguió La decisión de IBM de descontinuar su sistema de reconocimiento facial de propósito general. El día siguiente, Microsoft anunció que dejaría de vender su sistema a los departamentos de policía hasta que la ley federal regule la tecnología. Si bien Amazon hizo la concesión más pequeña de las tres compañías, también es el mayor proveedor de tecnología para las fuerzas del orden. La decisión es la culminación de dos años de investigación y presión externa para demostrar las fallas técnicas de Rekognition y su potencial de abuso.

Es increíble que Amazon realmente esté respondiendo dentro de esta conversación actual sobre el racismo, dijo Deborah Raji, investigadora de responsabilidad de IA y coautora un estudio fundamental sobre los prejuicios raciales y las imprecisiones integradas en la tecnología de la empresa. Simplemente habla del poder de este momento actual.

Un año es un comienzo, dice Kade Crockford, director del programa de libertad tecnológica de la ACLU de Massachusetts. Es absolutamente una admisión por parte de la compañía, al menos implícitamente, de que lo que los defensores de la justicia racial les han estado diciendo durante dos años es correcto: la tecnología de vigilancia facial pone en peligro a las personas negras y morenas en los Estados Unidos. Esa es una admisión notable.

Dos años en la fabricación

En febrero de 2018, la investigadora del MIT Joy Buolamwini y Timnit Gebru, entonces investigador de Microsoft, publicaron un estudio innovador llamado Gender Shades sobre los sesgos raciales y de género integrados en los sistemas comerciales de reconocimiento facial. En ese momento, el estudio incluía los sistemas vendidos por Microsoft, IBM y Megvii, uno de los proveedores de reconocimiento facial más grandes de China. No abarcaba Rekognition de Amazon.

Sin embargo, fue el primer estudio de este tipo, y los resultados fueron impactantes: el peor sistema, el de IBM, fue 34,4 puntos porcentuales peor en la clasificación de género para mujeres de piel oscura que para hombres de piel clara. Los hallazgos desacreditaron de inmediato las afirmaciones de precisión que las empresas habían estado utilizando para vender sus productos y provocaron un debate sobre el reconocimiento facial en general.

A medida que avanzaba el debate, pronto se hizo evidente que el problema también era más profundo que los datos de entrenamiento sesgados o los algoritmos imperfectos. Incluso si los sistemas alcanzaran el 100% de precisión, aún podrían implementarse de manera peligrosa, advirtieron muchos investigadores y activistas.

Una foto fija del videopoema de Joy Buolamwini 'AI, I Ain't I A Woman?' mostrando algunos de los errores atroces cometidos por Rekognition.

CORTESÍA DE LA LIGA DE LA JUSTICIA ALGORITMICA

Hay dos formas en que esta tecnología puede dañar a las personas, dice Raji, quien trabajó con Buolamwini y Gebru en Gender Shades. Una forma es no trabajar: en virtud de tener tasas de error más altas para las personas de color, las pone en mayor riesgo. La segunda situación es cuando se lo hace trabajo, donde tiene el sistema de reconocimiento facial perfecto, pero se utiliza fácilmente como arma contra las comunidades para acosarlas. Es una conversación separada y conectada.

El trabajo de Gender Shades fue exponer la primera situación, dice ella. Al hacerlo, creó una abertura para exponer el segundo.

Amazon trató de desacreditar su investigación; trató de socavarlas como mujeres negras que lideraron esta investigación.

meredith whittaker

Esto es lo que pasó con IBM. Después de la publicación de Gender Shades, IBM fue una de las primeras empresas que contactó a los investigadores para descubrir cómo solucionar sus problemas de sesgo. En enero de 2019, lanzó un conjunto de datos llamado Diversidad en Rostros , que contiene más de 1 millón de imágenes faciales anotadas, en un esfuerzo por mejorar dichos sistemas. Pero el movimiento contraproducente después de que la gente descubriera que las imágenes fueron extraídas de Flickr, lo que planteó problemas de consentimiento y privacidad. Desencadenó otra serie de discusiones internas sobre cómo entrenar éticamente el reconocimiento facial. Los llevó por la madriguera del conejo al descubrir la multitud de problemas que existen con esta tecnología, dice Raji.

Entonces, en última instancia, no fue una sorpresa cuando la compañía finalmente desconectó. (Críticos señalar que su sistema no tenía mucha presencia en el mercado de todos modos). IBM acaba de darse cuenta de que los 'beneficios' no eran de ninguna manera proporcionales al daño, dice Raji. Y en este momento en particular, era el momento adecuado para que lo hicieran público.

Pero mientras IBM respondió a los comentarios externos, Amazon tuvo la reacción opuesta. En junio de 2018, en medio de todas las demás cartas que exigían que la empresa detuviera el uso policial de Rekognition, Raji y Buolamwini amplió la auditoría de tonos de género para abarcar su desempeño. Los resultados, publicados medio año después en un artículo revisado por pares , una vez más encontró enormes imprecisiones técnicas. Rekognition clasificó el género de las mujeres de piel oscura con 31,4 puntos porcentuales menos de precisión que el de los hombres de piel clara.

En julio, la ACLU del norte de California también realizó su propio estudio , encontrando que el sistema hizo coincidir falsamente fotos de 28 miembros del Congreso de los EE. UU. con fichas policiales. Las coincidencias falsas eran desproporcionadamente personas de color.

Sin embargo, en lugar de reconocer los resultados, Amazon publicó dos blog publicaciones alegando que el trabajo de Raji y Buolamwini era engañoso. En respuesta, casi 80 investigadores de IA , incluido el ganador del Premio Turing Yoshua Bengio, defendió el trabajo y una vez más pidió a la empresa que dejara de vender el reconocimiento facial a la policía.

Fue una experiencia muy emotiva en ese momento, recuerda Raji. Habíamos hecho mucha diligencia debida con respecto a nuestros resultados. Y luego la respuesta inicial fue tan directamente confrontativa y agresivamente defensiva.

Amazon trató de desacreditar su investigación; trató de socavarlas como mujeres negras que dirigieron esta investigación, dice Meredith Whittaker, cofundadora y directora del AI Now Institute, que estudia los impactos sociales de la IA. Trató de generar una narrativa de que se habían equivocado, que cualquiera que entendiera la tecnología claramente sabría que esto no era un problema.

La medida realmente puso a Amazon en peligro político.

mutale nkonde

De hecho, mientras descartaba públicamente el estudio, Amazon estaba comenzando a invertir en la investigación de soluciones entre bastidores. Contrató a un líder de equidad, invirtió en una beca de investigación de la NSF para mitigar los problemas y lanzó una nueva versión de Rekognition unos meses después, respondiendo directamente a las preocupaciones del estudio, dice Raji. Al mismo tiempo, hacer retroceder los esfuerzos de los accionistas suspender las ventas de la tecnología y realizar una evaluación independiente de los derechos humanos. También gastó millones presionar al Congreso para evitar la regulación.

Pero luego todo cambió. El 25 de mayo de 2020, el oficial Derek Chauvin asesinó a George Floyd, lo que provocó un movimiento histórico en los Estados Unidos para luchar contra el racismo institucional y acabar con la brutalidad policial. En respuesta, los demócratas de la Cámara y el Senado presentaron un proyecto de reforma policial eso incluye una propuesta para limitar el reconocimiento facial en un contexto de aplicación de la ley, lo que marca el mayor esfuerzo federal jamás realizado para regular la tecnología. Cuando IBM anunció que suspendería su sistema de reconocimiento facial, también envió una carta al Caucus Negro del Congreso, instando a un diálogo nacional sobre si las agencias nacionales encargadas de hacer cumplir la ley deberían emplear la tecnología de reconocimiento facial y cómo.

Creo que la decisión de IBM de enviar esa carta, en el momento en que el mismo cuerpo legislativo está considerando un proyecto de ley de reforma policial, realmente cambió el panorama, dice Mutale Nkonde, asesor de políticas de IA y miembro del Centro Berkman Klein de Harvard. A pesar de que no eran un gran jugador en el reconocimiento facial, el movimiento realmente puso a Amazon en peligro político. Estableció un vínculo claro entre la tecnología y la conversación nacional en curso, de una manera que fue difícil de ignorar para los reguladores.

Un optimismo cauteloso

Pero mientras activistas e investigadores ven la concesión de Amazon como una gran victoria, también reconocen que la guerra no ha terminado. Por un lado, el anuncio de 102 palabras de Amazon fue vago en los detalles sobre si su moratoria abarcaría a las agencias de aplicación de la ley más allá de la policía, como el Servicio de Inmigración y Control de Aduanas de EE. UU. o el Departamento de Seguridad Nacional. (Amazon no respondió a una solicitud de comentarios). Por otro lado, el vencimiento de un año también es una señal de alerta.

La parte cínica de mí dice que Amazon va a esperar hasta que las protestas se calmen, hasta que la conversación nacional cambie a otra cosa, para volver a su posición anterior, dice Crockford de la ACLU. Estaremos observando de cerca para asegurarnos de que estas empresas no estén recibiendo buena publicidad por estos anuncios recientes y, al mismo tiempo, trabajar detrás de escena para frustrar nuestros esfuerzos en las legislaturas.

Es por eso que los activistas e investigadores también creen que la regulación jugará un papel fundamental en el futuro. La lección aquí no es que las empresas deban autogobernarse, dice Whittaker. La lección es que necesitamos más presión y que necesitamos regulaciones que garanticen que no solo estamos viendo una prohibición de un año.

La parte cínica de mí dice que Amazon va a esperar hasta que las protestas se calmen... para volver a su posición anterior.

kade crockford

Los críticos dicen que las estipulaciones sobre el reconocimiento facial en el actual proyecto de ley de reforma policial, que solo prohíbe su uso en tiempo real en cámaras corporales, no son lo suficientemente amplias como para responsabilizar a los gigantes tecnológicos. Pero Nkonde es optimista: ve este primer conjunto de recomendaciones como una semilla para una regulación adicional por venir. Una vez que se conviertan en ley, se convertirán en un importante punto de referencia para otros proyectos de ley redactados para prohibir el reconocimiento facial en otras aplicaciones y contextos.

Realmente hay un movimiento legislativo más grande tanto a nivel federal como local, dice ella. Y el foco de atención que la muerte de Floyd ha puesto sobre las prácticas policiales racistas ha acelerado su apoyo generalizado.

Realmente no debería haber sido necesario los asesinatos policiales de George Floyd, Breonna Taylor y muchos otros negros, y cientos de miles de personas que tomaron las calles en todo el país, para que estas empresas se dieran cuenta de que las demandas de los negros y negros. las organizaciones y académicos liderados por marrones, de la ACLU y de muchos otros grupos eran moralmente correctos, dice Crockford. Pero aquí estamos. Mejor tarde que nunca.

esconder