Qué sucede cuando un algoritmo se equivoca

En la primera de una serie de cuatro partes en FaceID, la presentadora Jennifer Strong explora el falso arresto de Robert Williams por parte de la policía en Detroit. Lo extraño de la terrible experiencia de Willliams no fue que la policía usó el reconocimiento facial para identificarlo, sino que la policía se lo contó. No hay ninguna ley que diga que tienen que hacerlo. El episodio comienza a desentrañar las complejidades de esta tecnología y presenta algunas preguntas espinosas sobre su uso.

Nos encontramos:

• Roberto y Melissa Williams
• Peter Fussey, Universidad de Essex
• Hamid Khan, Alto a la Coalición de Espionaje de LAPD

Créditos:

Este episodio fue informado y producido por Jennifer Strong, Tate Ryan-Mosley y Emma Cillekens. Tuvimos la ayuda de Karen Hao y Benji Rosen. Estamos editados por Michael Reilly y Gideon Lichfield. Nuestro director técnico es Jacob Gorski. Un agradecimiento especial a Kyle Thomas Hemingway y Eric Mongeon.

Transcripción completa del episodio:

Roberto Williams: Estaba completamente conmocionado y atónito de ser arrestado a plena luz del día, frente a mi hija, frente a mi esposa, frente a mis vecinos. Fue una de las cosas más impactantes que me han pasado.

Jennifer Fuerte: Ese es Robert Williams. Está describiendo lo que sucedió fuera de su casa en un suburbio próspero de Detroit llamado Farmington Hills en enero.

Jennifer Fuerte: El día empezó como cualquier otro.

Roberto Williams: Fue solo un jueves aburrido.

Jennifer Fuerte: Se levantó, fue a trabajar. Pero luego las cosas se pusieron raras.

Roberto Williams: Hablando por teléfono con Melissa alrededor de las 4.

Jennifer Fuerte: Melissa es su esposa. Están en medio de una llamada cuando escucha la otra línea.

Roberto Williams: Hago clic sobre. Estoy como, '¿Hola?'

¿Roberto?

Y yo estoy como, '¿Quién es este?'

Tienes que bajar y entregarte.

'¿Quien es este?'

—Agente alguien de la tercera comisaría.

'¿Y necesito entregarme para qué?'

Entonces él dijo: 'No puedo decirte eso'.

Y yo estoy como, 'Entonces, no puedo bajar'.

'Bueno, si bajas, sería mucho más fácil para ti. No querrás que vayamos a tu trabajo, ¿verdad?

En este punto, creo que es una llamada de broma.

Entonces, estoy como, 'Mira, hombre, si me quieres, ven a buscarme'. estaré en casa Traiga una orden judicial. Y le cuelgo.

Jennifer Fuerte: Melissa está en casa esperando a su madre y a su hija, y va a saludarlas cuando llegan.

Melisa Williams: Y mientras caminaba, miré hacia afuera y el auto de la policía estaba afuera.

Y dije: 'Oh, entonces no fue una llamada de broma. Realmente hay gente aquí.

Y llegaron a la puerta.

lo respondí

Y como que metieron el pie en la puerta y dijeron: 'Envía a Robert fuera'.

Y yo dije: 'Él no está aquí'.

Y dijeron: 'Acabamos de verlo salir de esa camioneta'.

Y dije: 'Esa era mi mamá. Él no está aquí.'

Jennifer Fuerte: Claramente, algo anda muy mal, pero no saben qué es.

Roberto Williams: Tiene que haber una identidad equivocada o algo así. No sé por qué la policía de Detroit está en mi casa.

Jennifer Fuerte: Resultó que estaban allí porque el software de reconocimiento facial había hecho coincidir erróneamente la foto de su licencia de conducir con las imágenes de una cámara de seguridad de una persona robando relojes.

Roberto Williams: Me detengo en el camino de entrada aquí, me detengo en mi lugar habitual, salgo. Para cuando cerré la puerta, el auto estaba en el camino de entrada bloqueándome la entrada. Y estacionaron de esta manera, al otro lado de mi camino de entrada como si fuera a dar marcha atrás o algo así e intentar despegar.

Melisa Williams: Tan pronto como cerró la puerta, estaban justo sobre él.

Y todavía estaba aquí porque tenía a las chicas, y ya estaban empezando a esposarlo cuando salimos.

Jennifer Fuerte: Le dijo a su hija que volviera a entrar, que la policía estaba cometiendo un error y que él regresaría enseguida. Pero él no estaba de regreso.

La policía lo detuvo y pasó la noche en la cárcel. Todavía no tenía idea de lo que estaba pasando. Y estaba enojado.

Pero dice que, como hombre negro, tenía que considerar qué podría pasar si dejaba que eso se notara. Así que mantuvo la calma y esperó.

A la mañana siguiente, los oficiales le mostraron algunas fotos de un hombre que robaba relojes. Excepto que esas fotos no eran de él. Eran otra persona.

Roberto Williams: '¿Así que ese no eres tú?'

Miré. Dije: 'No, ese no soy yo'.

Le da la vuelta a otro papel. Él dice: '¿Supongo que este tampoco eres tú?

Tomé ese papel y lo sostuve junto a mi cara. Y dije: 'Este no soy yo'.

Yo estaba como, 'Espero que no piensen que todos los negros se parecen'.

Y luego dice: 'La computadora dice que eres tú'.

Si hubiera traído la foto con él, podría haberla mirado de arriba abajo, y podría haberse ido y decir, oh, qué mal. No quise molestarte.

jennifer fuerte : Lo inusual de esta historia no es que se haya utilizado Face ID para encontrar a un sospechoso. Lo que es inusual es que se le dijo a Robert Williams, porque la policía no está obligada a revelar eso. El reconocimiento facial no está regulado. No cómo lo usan las fuerzas del orden. No cómo lo usan los empleadores.

Soy Jennifer Strong. Y este es el episodio uno de una nueva serie que explora lo que sucede cuando todo lo que nos rodea se automatiza. Estamos comenzando con una mirada en cuatro partes sobre el reconocimiento facial y la vigilancia. Conoceremos a personas que construyen esta tecnología, luchan contra ella y tratan de regular cómo se usa.

Jennifer Fuerte: Piénsalo de esta manera. El reconocimiento facial se está utilizando como motor de búsqueda para delincuentes. Y tu cara es el término de búsqueda.

Para 2016, se creía que los rostros de la mitad de todos los adultos estadounidenses estaban almacenados dentro de los sistemas que la policía usa para nombrar a los sospechosos. Algunos se refieren a ella como la alineación perpetua. Pero la nación puede estar en un punto de inflexión, tanto en su relación con la policía como con esta tecnología. En junio, los gigantes tecnológicos Amazon y Microsoft suspendieron la venta de sus productos de identificación facial a las fuerzas del orden. IBM dejó de venderlo por completo. Luego, la ciudad de Nueva York aprobó un proyecto de ley que proporciona la supervisión de todas las tecnologías de vigilancia, a pesar de la oposición de la policía de Nueva York. Y después de que salió a la luz el arresto injusto de Robert Williams, la policía de Detroit dice que solo usará la identificación facial para investigar crímenes violentos. Y lo harán con fotos fijas porque es más probable que produzcan una coincidencia precisa. ¿Pero es suficiente?

Pedro Fussey: Bien, en este momento estamos en East London, en un lugar llamado Stratford.

Jennifer Fuerte: Di un paseo con Peter Fussey en febrero antes de la pandemia.

Pedro Fussey: Históricamente, ha sido un área de mucha privación, que tuvo una gran inversión justo antes de los Juegos Olímpicos de 2012, que se llevaron a cabo aquí.

Jennifer Fuerte: Es un lugar donde la Policía de Londres prueba cámaras que relacionan rostros con identidades en tiempo real. Eres parte de un equipo que trabaja en una estrategia de vigilancia nacional. ¿Está bien?

Pedro Fussey: Así que somos parte de un proyecto de investigación. Examinamos la tecnología emergente y las implicaciones para los derechos humanos aparte de eso. También trabajo con el regulador de cámaras de vigilancia en el Reino Unido y dirijo parte de su estrategia sobre derechos humanos.

Jennifer Fuerte: Estudió vigilancia tecnológica durante más de 20 años.

pedro fussey : Empecé a mirar circuitos cerrados de televisión, cámaras de circuito cerrado de televisión. Son muy familiares en la calle, CCTV. Siempre me sorprendió lo poco que la gente parece preocupada por eso. Sería, ya sabes, hacer un caso extraño de por qué deberíamos regular. Y fue recibido en gran medida con indiferencia. Y el reconocimiento facial parece muy diferente. Ha captado la imaginación del público. Está en los medios a diario.

Locutor de telediario: Bueno, tu cara puede decirle a la gente mucho más de lo que piensas. En un nuevo mundo de tecnología de reconocimiento facial, todos sus movimientos pueden ser rastreados.

Locutor de telediario: Estos compradores no lo saben, pero una computadora está escaneando sus rostros, comparando sus rasgos con los de los ladrones conocidos.

Hombre entrevistado: Es horrible. Es una invasión de la privacidad.

Mujer entrevistada: Esta tecnología se está instalando sin supervisión pública ni responsabilidad.

Segunda mujer entrevistada: Nos están intimidando para que nos tomemos una foto con el fin de obtener nuestras llaves.

Locutor de telediario: Incluso la estrella del pop Taylor Swift implementó en secreto la tecnología para erradicar a los acosadores.

Jennifer Fuerte: Pero aunque la protesta pública ha llevado a algunos lugares a prohibir la tecnología, incluidas ciudades tecnológicas como San Francisco y Cambridge, Massachusetts, donde tiene su sede el MIT, la policía de Londres probó una versión muy agresiva en 10 espacios públicos diferentes.

Pedro Fussey: Lo que ves en el Reino Unido es reconocimiento facial en vivo, lo que significa que hay una base de datos de personas en las que la policía está interesada. Luego, cuando el público pasa frente a la cámara, cada una de esas personas es escaneada y luego comparada con esa base de datos. Aquí, estás promulgando vigilancia antes, ya sabes, de cualquier delito.

Jennifer Fuerte: Una cosa es que un departamento de policía muestre una foto de alguien para tratar de identificarlo en un sistema. Y es algo muy diferente que la identificación en vivo ocurra en tiempo real.

Pedro Fussey: Sí, eso es exactamente correcto. Y creo que es una parte muy importante del debate que a menudo se pierde.

La otra diferencia es que las cámaras CCTV existentes, o la vigilancia humana analógica de baja tecnología, no implican la captura, el procesamiento, el mantenimiento y la gestión de datos biométricos, que es una categoría especial de datos y se considera universalmente como una intrusión. práctica.

Jennifer Fuerte: Y esa categoría especial de datos debe clasificarse y almacenarse de forma segura. Y como él señala, ningún ser humano puede procesar el volumen que capturan estos sistemas.

Pedro Fussey: Eso plantea algunas preguntas serias sobre qué tan proporcionado es eso, por ejemplo. Qué necesario es escanear biométricamente a decenas de miles de personas solo porque estás interesado en hablar con alguien. Ahora, si es un asesino conocido suelto, o el ejemplo que siempre se da de, ya sabes, un ataque terrorista a punto de ocurrir, entonces eso es diferente. Puede hacer un argumento de necesidad y proporcionalidad mucho más fuerte en torno a eso, pero menos si es solo alguien con quien está interesado en hablar sobre un incidente de comportamiento antisocial o algo así.

Jennifer Fuerte: Bueno, la otra pregunta, cuando dices que los humanos no pueden procesar esa información, pero tampoco está claro si la tecnología todavía puede hacerlo. ¿Qué sucede si te identifican falsamente?

Pedro Fussey: Si la cámara dice que eres un sospechoso, que eres alguien en su lista de vigilancia, ¿cuántas veces sabemos que es correcto? En nuestra investigación, encontramos que era correcto ocho veces de 42. Entonces, en seis días completos, sentado en camionetas de la policía, ocho veces.

Jennifer Fuerte: Hizo la única revisión independiente de estos ensayos y descubrió que era precisa menos del 20 % de las veces.

Pedro Fussey: Puede funcionar brillantemente en condiciones de laboratorio. Pero, ya sabes, afuera, como un entorno en el que estamos ahora, la luz se está desvaneciendo, es luz de invierno. Gran parte de la imagen de inteligencia para muchos de los delitos está vinculada a la economía nocturna. Por lo tanto, el reconocimiento facial funciona peor con poca luz y todo tipo de problemas al respecto.

Jennifer Fuerte: También es menos efectivo en diferentes grupos demográficos.

Pedro Fussey: Entonces, no solo la etnia o la raza, sino también el género. Y eso luego se convierte en un problema completo en torno a los derechos y la edad de las personas transgénero también. Las caras de los niños, por ejemplo, dan menos información que la cara de alguien de 40 años como yo. Eso es importante porque si la policía está usando una tecnología que no es tan efectiva para diferentes grupos, entonces, a menos que sean conscientes de esas limitaciones, y a menos que puedan mitigarlas de alguna manera, entonces es imposible decir que están empleando una tecnología compatible con los derechos humanos.

Jennifer Fuerte: ¿Cómo se alinean una estrategia de derechos humanos y una de vigilancia?

Pedro Fussey: A menudo pensamos que cosas como la seguridad se oponen a los derechos humanos.

Lo que, por supuesto, la primera responsabilidad de los estados bajo la declaración de derechos humanos de la ONU es que los estados brinden seguridad y protección a sus ciudadanos. Por lo tanto, a menudo existe este marco de libertad versus seguridad, que mis colegas y yo encontraríamos bastante inútil. Ya sabes, puedes tener ambos, y no puedes tener ninguno.

Jennifer Fuerte: Nos dirigimos a otro lugar que él quiere mostrarme.

Pedro Fussey: Justo al final de este puente, puedes ver un poste con algunas cámaras. Si estuviera caminando por este puente hacia esas cámaras, llegaría a un punto donde había un letrero que decía que el reconocimiento facial estaba en funcionamiento. Ahora, si quisieras continuar tu viaje, tendrías que pasar por delante de esas cámaras. Sin embargo, la policía decía que se trataba de un juicio. Entonces, si no querías ser parte de ese juicio, tenías que darte la vuelta. Y llegar al mismo punto más allá de esas cámaras tomaría un desvío de unos 20 minutos.

Jennifer Fuerte: Bien, entonces esta parte es realmente importante.

Pedro Fussey: Aquí, no hay un consentimiento significativo real. Si retira el consentimiento porque no quiere estar en la cámara, entonces debería poder retirar el consentimiento sin penalización. De lo contrario, no es consentimiento.

Jennifer Fuerte: Algo más. Cuando camina por la calle, ¿está consciente de las veces que cruza de una acera pública al concreto que es propiedad de un negocio? ¿Sabía que sus derechos a la privacidad pueden ser diferentes en solo unos pocos pasos?

Pedro Fussey: Así que aquí, donde estamos parados, afuera del centro comercial Westfield, hay un espacio privado. Pero sentimos que es público. Hay mucha gente por aquí. Tiene el sentido de un espacio público. Sin embargo, lo que sucede es que si caminas 30 metros a nuestra izquierda, estás en un área pública y todas las cámaras son propiedad de las autoridades públicas. Y si caminas 30 metros a nuestra derecha, son propiedad de empresas privadas.

Jennifer Fuerte: ¿Qué pasa con el que está sobre tu cabeza?

Pedro Fussey: ¿Cuál? ¿Ese? Así que sí, esto es propiedad de una empresa privada.

Jennifer Fuerte: La diferencia se reduce a un punto simple. Los grupos públicos son responsables ante el público.

Face ID funciona al mapear el conjunto único de medidas entre sus características, como el espacio entre sus ojos, la longitud de su nariz y la curvatura de sus labios. Los primeros sistemas se inventaron en la década de 1960. Pero durante décadas, la tecnología no fue realmente útil. Luego, a principios de la década de 2000, la policía local de Florida creó un programa estatal de reconocimiento facial. Una década después de eso, Facebook inventó una nueva forma de comenzar a reconocer y etiquetar automáticamente a las personas en las fotos, mejorando rápidamente el reconocimiento facial a lo que tenemos hoy. Ahora, es ampliamente utilizado en aeropuertos y por la policía, pero hay poca transparencia sobre qué sistemas se utilizan o cómo.

Hamid Kan: Los algoritmos no tienen cabida en la vigilancia. Creo que es crucial que entendamos eso porque hay vidas en juego.

Jennifer Fuerte: Hamid Khan es un activista que lucha contra el uso de la vigilancia y muchas otras herramientas tecnológicas utilizadas por la policía de Los Ángeles.

Hamid Kan: Cada vez que la vigilancia se legitima, entonces está abierta para expandirse con el tiempo, e históricamente se ha utilizado para rastrear, rastrear, monitorear y acechar comunidades particulares.

Comunidades que son pobres, comunidades que son negras y marrones, comunidades que serían consideradas cuerpos sospechosos, queer, trans. Es un proceso de control social.

Jennifer Fuerte: Khan creó la Coalición Stop LAPD Spying, un grupo que describe como ferozmente abolicionista.

Él no cree que restringir la forma en que la policía usa la identificación facial funcionará. Y así, durante lo que podría describirse mejor como un tsunami de adopción, con un debate centrado principalmente en las mejores prácticas, su atención se centra en prohibir estas tecnologías. Y ha tenido éxito. Varios programas de vigilancia de datos y vigilancia predictiva en Los Ángeles terminaron después de la presión pública y legal de su grupo. Para Khan, parte de cómo llegamos a este momento es cambiando la forma en que definimos y controlamos las actividades sospechosas,

Hamid Kan: La definición es que es un comportamiento observado razonablemente indicativo de planificación preoperacional de actividad criminal o terrorista. Entonces, estás observando el comportamiento de alguien, no un hecho, sino una preocupación de que una persona pueda estar pensando en hacer algo mal, ¿verdad? Entonces, esto ahora va a eso, la vigilancia policial especulativa y basada en corazonadas es real.

Jennifer Fuerte: Lo que sí sabemos, gracias a investigaciones académicas y gubernamentales, es que el reconocimiento facial funciona mejor en hombres blancos.

Alegría Buolamwini : Hola cámara. tengo una cara ¿Puedes ver mi cara? ¿Cara sin anteojos? Puedes ver...

Jennifer Fuerte: Esa es la investigadora del MIT, Joy Buolamwini, dando una charla TED.

Alegría Buolamwini: Entonces, ¿qué está pasando? ¿Por qué no se detecta mi cara? Bueno, tenemos que ver cómo damos vista a las máquinas. Entonces, cómo funciona esto es crear un conjunto de entrenamiento con ejemplos de caras. Esta es una cara, esta es una cara, esto no es una cara. Y con el tiempo puedes enseñarle a una computadora cómo reconocer otras caras.

Jennifer Fuerte: Sin embargo, si los conjuntos de entrenamiento no son realmente tan diversos, cualquier cara que se desvíe demasiado de la norma establecida será más difícil de detectar, que es lo que me estaba pasando.

En 2018, dirigió un estudio innovador que mostró que los sistemas comerciales de reconocimiento facial fallaron repetidamente en clasificar a las mujeres de piel oscura.

Un año después, un importante informe sobre la identificación facial de una agencia federal llamada NIST, o el Instituto Nacional de Estándares y Tecnología, encontró que algunos algoritmos de identificación facial tenían hasta cien veces más probabilidades de coincidir falsamente con fotos de personas de color. Pero incluso si estos sistemas pueden diseñarse para alcanzar una precisión perfecta, pueden usarse de manera peligrosa. Y estos problemas van más allá de los datos sesgados y las matemáticas imperfectas.

Hamid Kan: La tecnología no está operando por sí misma. Desde el diseño hasta la producción y la implementación, hay un sesgo incorporado constantemente. Y no son solo los sesgos de las personas mismas. Esa es solo una parte de eso. Es el sesgo inherente dentro del sistema.

Jennifer Fuerte: Próximo episodio, ¿sería sorprendente que las empresas utilicen fotos suyas, incluidas algunas que tal vez nunca haya visto, para crear sistemas de reconocimiento facial?

Hoan Ton-Eso: En Twitter, ¿recuerdas esta foto?

Jennifer Fuerte: No. No sabía que se lo habían llevado y yo, me veía muy...

Hoan Ton-Eso: Tú haces. Te veías muy serio en eso.

Jennifer Fuerte: En la segunda parte, conocemos al fundador de una de las empresas más controvertidas que trabajan en este espacio, el director ejecutivo de Clearview AI, Hoan Ton-That.

Hoan Ton-Eso: Cuando estábamos construyendo nuestra tecnología de reconocimiento facial, exploramos muchas ideas diferentes en muchos sectores diferentes, desde la seguridad privada hasta la hospitalidad. Cuando se lo dimos a algunas personas en la aplicación de la ley, el aumento fue enorme. Y nos llamaron al día siguiente y dijeron, estamos resolviendo casos. Esto es Loco. En una semana, teníamos un folleto muy grueso.

Jennifer Fuerte: Este episodio fue informado y producido por mí, Tate Ryan-Mosley y Emma Cillekens. Tuvimos la ayuda de Karen Hao y Benji Rosen. Estamos editados por Michael Riley y Gideon Lichfield. Nuestro director técnico es Jacob Gorski. Un agradecimiento especial a Kyle Thomas Hemingway, Eric Mongeon y la ACLU por compartir sus grabaciones de Robert Williams.

Jennifer Fuerte: Gracias por su atención. Soy Jennifer Strong.

esconder