¿Quién es el dueño de tu cara?

La policía tiene un historial de uso del reconocimiento facial para arrestar a los manifestantes, algo que los activistas no olvidan desde la muerte de George Floyd. En la última de una serie de cuatro partes sobre reconocimiento facial, la presentadora Jennifer Strong explora el camino a seguir para la tecnología y examina cómo podría ser la política.

Nos encontramos :

• Artem Kuharenko, NTechLab
• Deborah Raji, Instituto AI Now
• Toussaint Morrison, músico, actor y organizador de Black Lives Matter
• Jameson Spivack, Centro de Privacidad y Tecnología

Créditos

Este episodio fue informado y producido por Jennifer Strong, Tate Ryan-Mosley, Emma Cillekens y Karen Hao. Tuvimos la ayuda de Benji Rosen. Estamos editados por Michael Reilly y Gideon Lichfield. Nuestro director técnico es Jacob Gorski.

Transcripción completa del episodio

Toussaint Morrison : Este lugar estaba inquietantemente tranquilo el primer fin de semana del toque de queda. También había autos de policía muy silenciosos que conducían muy lentamente por aquí.

Jennifer Fuerte: Ese es Toussaint Morrison. Le está mostrando a mi productor, Tate Ryan Mosley, un parque en Minneapolis, Minnesota, a 2 millas y media en automóvil desde donde George Floyd fue asesinado el 25 de mayo, lo que provocó lo que probablemente sea el movimiento de protesta más grande en la historia de Estados Unidos.

Toussaint Morrison : Alrededor de media milla al este fue donde se intentó incendiar la estación de policía del quinto distrito.

Jennifer Fuerte: Morrison es músico, actor, cineasta y en los últimos meses también se ha convertido en organizador del movimiento Black Lives Matter en Minneapolis.

Toussaint Morrison: Tu enfado está perfectamente justificado. Tu piel es hermosa y no eres el criminal que te pintan.

Jennifer Fuerte: Es muy conocido aquí. Los activistas saben quién es. Los funcionarios del gobierno saben quién es. Y cree que la policía probablemente también.

Tate Ryan-Mosley : ¿Ha tenido alguna conversación con personas que están preocupadas por ser identificadas por policías que podrían tener fotos de ellos en las protestas siendo parte de las protestas?

Toussaint Morrison: Definitivamente hay un miedo. Me enteré de eso un poco demasiado tarde. El nombre y la cara de mi gobierno están ahí fuera. Entonces, quiero decir, sí, eso definitivamente ha sido una preocupación. Y lo he escuchado de gente negra a gente blanca, a todo lo que hay entre gente.

Jennifer Fuerte: Aunque dice que los manifestantes están más preocupados por su seguridad física en este momento, como ser atropellados por un automóvil.

Toussaint Morrison: La salida de identidad no ha sido algo que haya escuchado tanto como estar, temer por la propia vida en una marcha real.

Jennifer Fuerte: Sabemos por una investigación de Buzzfeed que la policía aquí tiene acceso a mucha tecnología de vigilancia, incluido el software de reconocimiento facial de Clearview, que recordará del episodio dos, además de que tienen rayas que actúan como torres de telefonía para obtener datos móviles, un sistema de vigilancia de audio. sistema llamado ShotSpotter, y un sistema de cámara con análisis de video en capas en la parte superior.

Los agentes federales también volaron un dron depredador sobre las protestas. Y Morrison cree que estas herramientas están dirigidas de manera diferente a las comunidades de color.

Toussaint Morrison: Ahora no necesitan una razón para sospechar. Oh, vi que tu cara estaba en este mitin. Y, y veo que se alinea con algo más. Bueno, ¿y si la tecnología está mal? No van a pensar que es posible, ya sabes, porque están confiando en la computadora. Entonces esa tecnología está aumentando un peligro. Eso ya es peligroso. Y ya apunta a las personas de color, las personas discapacitadas, las personas trans. Somos, somos la peor parte de esa tecnología. Entonces, cuando creas esa tecnología, ¿a quién afecta más?

Jennifer Fuerte: Soy Jennifer Strong y esta es la cuarta parte de nuestra serie sobre la policía y el reconocimiento facial, donde exploraremos el camino a seguir y cómo sería la regulación.

Toussaint Morrison : Avanzando, no sé qué va a pasar,

pero yo, lo que si sé es que no habrá vuelta atrás, ya sabes, no habrá vuelta atrás.

jameson spivek : No sabemos si la policía está utilizando el reconocimiento facial en la actual ola de protestas, pero sabemos dos cosas. Uno, que muchos de ellos tienen la capacidad de hacerlo, y dos: sucedió en el pasado.

Jennifer Fuerte: Jameson Spivek es asociado de políticas en el Centro de Privacidad y Tecnología...

jameson spivek : ...que es un grupo de expertos independiente con sede en la Facultad de Derecho de Georgetown.

Jennifer Fuerte: En 2015, la policía de Baltimore utilizó las redes sociales para rastrear a las personas que protestaban por la muerte de Freddie Gray.

El reconocimiento facial ayudó a la policía a identificar a los manifestantes con órdenes de arresto pendientes y los arrestaron directamente entre la multitud.

Spivek está preocupado por lo que esto significa para la libertad de expresión si continúa.

jameson spivek : Esto es realmente preocupante porque desalienta el discurso y la participación política, que está protegido por la primera enmienda. entonces, si la gente piensa que está siendo identificada o arrestada por un delito que no tiene nada que ver con las protestas, no va a asistir. Entonces esto es, apuntar y desalentar específicamente el discurso político negro.

Jennifer Fuerte: Y, más ampliamente...

jameson spivek : Desplaza significativamente el equilibrio de poder hacia los gobiernos. Les da la capacidad de identificar y rastrear a muchas personas... a distancia y en secreto. Y el gobierno nunca ha tenido la capacidad de vigilar al público de esta manera. Esta es esencialmente una solución alternativa que permite a la policía realizar búsquedas sin orden judicial.

Jennifer Strong: Así es como él ve que la regulación comienza a tomar forma.

jameson spivek : Una opción que ya se ha implementado es simplemente prohibir el uso policial de esta tecnología en general. Tiene fallas... Facilita niveles sin precedentes de vigilancia gubernamental y se ha demostrado que la policía hace un mal uso de ella. Del mismo modo, otra opción es imponer una moratoria al uso policial del reconocimiento facial. Y lo que esto hace es que le da tiempo al público y a los funcionarios electos para ponerse al día sobre qué es esta tecnología, cómo funciona, cómo la usa la policía. Luego, otra opción es simplemente aprobar una regulación que permita que la policía la use, pero que tenga ciertas restricciones en su capacidad para usarla.

Jennifer Fuerte: Al informar sobre esta serie, hemos hablado con varias personas que creen que reformar el uso de la identificación facial simplemente no es posible. La ACLU dice que debería prohibirse a nivel nacional. Entonces, tengo curiosidad por saber qué tipo de regulación cree que realmente marcaría la diferencia.

jameson spivek : Cosas como exigir una orden de registro de causa probable para cualquier registro de reconocimiento facial, restringir el uso a delitos violentos y prohibir el uso del reconocimiento facial para la aplicación de la ley de inmigración. Prohibiciones estrictas sobre el uso del reconocimiento facial junto con cosas como drones o en cámaras corporales usadas por la policía, o para vigilancia continua, porque el reconocimiento facial no debe usarse en situaciones de vida o muerte. Otra cosa es tener una divulgación obligatoria a los acusados ​​de que la policía usa el reconocimiento facial para identificarlos y luego arrestarlos.

Jennifer Fuerte: Pero incluso si esas regulaciones no se cumplen, dice que necesitamos...

jameson spivek : Hacer pruebas para asegurarse de que sea preciso y no esté sesgado y tener informes sobre cómo se usa y transparencia... Todo eso es bueno y todo es necesario... Pero no son suficientes. Realmente necesitamos estas, estas reformas más profundas.

Jennifer Fuerte: Él dice que no puede depender solo de las empresas que fabrican la tecnología para ser responsables de las reglas que la rigen.

Jameson Spivek : Tenemos que estar muy atentos y preguntarnos cuáles son las cosas que estas empresas apoyan en términos de legislación, si realmente van a proteger a las personas o es solo una forma de que las empresas tengan claridad sobre cómo se regula la tecnología, pero no está realmente regulado de una manera que sea lo suficientemente fuerte como para proteger a las personas y luego realmente afectar la capacidad de la empresa para producirlo. No creo que vayan a renunciar voluntariamente a vender esta tecnología. por lo que realmente depende de los legisladores intervenir.

jameson spivek : La mayoría de las principales empresas que están desarrollando el reconocimiento facial para la policía y el gobierno son empresas más pequeñas y más especializadas de las que la mayoría de la gente no ha oído hablar.

Jennifer Fuerte: Una de esas empresas de las que probablemente nunca haya oído hablar es NTechLab, a pesar de que hizo olas por primera vez hace unos cinco años cuando, como una nueva empresa, venció a Google y ganó una competencia internacional con una precisión del 95 por ciento en una de las categorías. .

Desde entonces, la empresa rusa ha ganado repetidamente concursos de biometría organizados por empresas como Amazon, agencias gubernamentales de EE. UU. y universidades.

Jennifer Fuerte: Y el fundador de la empresa es este hombre...

artem kuharenko : Artem Kuharenko

Jennifer Fuerte: NTechLab es mejor conocido por su aplicación llamada FindFace, que permite a las personas buscar perfiles de redes sociales con fotos en sus teléfonos.

¿Está destinado a un determinado grupo de personas o desea que esté disponible para cualquiera en las redes sociales?

artem kuharenko : Estaba disponible para cualquiera en Internet.

Jennifer Fuerte: Así es como John Oliver describió la aplicación durante un episodio reciente de Last Week Tonight de HBO.

Juan Oliver : Si quiere tener una idea de cuán aterradora podría ser esta tecnología si se vuelve parte de la vida cotidiana, solo mire cómo un presentador de televisión ruso demuestra una aplicación llamada FindFace... [noticiero] Si se encuentra en un café con una chica atractiva y no tienes las agallas para acercarte a ella, no hay problema. Todo lo que necesita es un teléfono inteligente y la aplicación FindFace.

Jennifer Fuerte: El hombre en este video usa la aplicación para tomar una foto de una mujer en una mesa diferente. Instantáneamente muestra su perfil en la versión rusa de Facebook.

Juan Oliver : Imagínate eso desde la perspectiva de una mujer... no te preocupes, ya sé dónde vives.

Jennifer Fuerte: La aplicación fue un éxito viral. Pero en estos días, la atención de NTechLab está en el reconocimiento facial en vivo, lo que significa que el algoritmo funciona en video, en tiempo real.

Se cree que un sistema que instalaron en la ciudad de Moscú está entre los más grandes de este tipo en el mundo.

artem kuharenko : En este momento, más de 100,000 cámaras de video están conectadas al sistema, y ​​el sistema demostró ser muy útil para la ciudad.

Jennifer fuerte: Entonces, 100 mil cámaras de video, capturando mil millones de rostros por mes. Y afirma que el sistema es muy, muy preciso.

artem kuharenko : Entonces es solo una aceptación falsa, por 10 mil millones de comparaciones. Es uno en 10 ceros.

Jennifer fuerte : Ese tipo de precisión es inaudito. Pero tampoco podemos decir que es imposible, y explicaré por qué en un momento. Lo que sí sabemos es que es mucho más difícil lograr precisión en video en vivo que en fotos.

Anteriormente en esta serie, hablamos sobre las pruebas de reconocimiento facial en vivo realizadas por la policía de Londres que produjeron una tasa de precisión de alrededor del 20 por ciento. Y otro en la ciudad de Nueva York que durante su período de prueba no produjo ni una coincidencia correcta.

Pero en Moscú, Kuharenko dice que su sistema se usa para resolver crímenes en tiempo real. Incluyendo en la competencia de fútbol más grande del mundo:

artem kuharenko : Durante la copa mundial de la FIFA en 2018 en Moscú, más de 100 delincuentes fueron atrapados debido al sistema.

Jennifer fuerte : NtechLab trabaja con más de cien clientes en 20 países, incluido el fabricante de chips estadounidense Nvidia y la empresa de telecomunicaciones china Huawei. También tiene proyectos de ciudades inteligentes en Dubái, proyectos fintech en Europa y asociaciones minoristas en América del Norte y del Sur.

La compañía envía algunos algoritmos para que los pruebe el gobierno de los EE. UU., pero dice que no pueden hacer eso para su trabajo más avanzado.

Porque NIST, o el Instituto Nacional de Estándares y Tecnología, prueba algoritmos de reconocimiento facial en fotos, y sus últimos sistemas usan video.

Artem Kuharenko: Sus pruebas están bastante lejos de los escenarios de la vida real.

Jennifer fuerte: Y si los organismos gubernamentales no se ponen al día con la tecnología, las empresas tienen más o menos que auditarse a sí mismas.

artem kuharenko : Las empresas líderes en el ramo cuentan con sus propias pruebas. En nuestra empresa, tenemos muchas pruebas diferentes antes de enviarlo a producción. Pero el problema es que no hay una prueba independiente, que será abierta, donde cualquiera pueda ver y cualquiera pueda probar todos los algoritmos.

Jennifer fuerte : Este verano, NTechLab agregó la detección de siluetas a su plataforma de video. Se utiliza para identificar a las personas en el perfil.

También han asumido un nuevo papel con la pandemia mundial...

Artem Kuharenko: ... medir la distancia entre las personas y encontrar áreas donde muchas personas estén cerca unas de otras, para que la ciudad pueda mejorar los procesos que están ocurriendo en estas áreas. También ayudó a detener la expansión del coronavirus en Moscú.

jennifer fuerte : Ahora, pero como estamos en medio de esta pandemia global, ¿qué tan bien funciona la tecnología cuando alguien usa una máscara?

artem kuharenko : Funciona con la misma precisión que sin máscara. Así que es casi casi la misma precisión. Y también tenemos un algoritmo especial, que puede decir si hay una máscara en una persona y si se usa correctamente o no.

Jennifer fuerte: El uso de una máscara generalmente ha provocado que la precisión de estos sistemas disminuya, incluso en una prueba previa a la pandemia de NTech Lab realizada por NIST. Pero la pandemia ha creado una especie de carrera armamentista entre las empresas que intentan construir sistemas que lean rostros enmascarados. La agencia también dice que los algoritmos de la compañía a menudo se encuentran entre los más precisos que prueban.

Simplemente no lo sabemos.

Pero enmascarado o no, el reconocimiento facial no es lo único que sucede en esas transmisiones de video.

Artem Kuharenko: Detección de automóviles... el reconocimiento de matrículas... y combinamos todos estos análisis de video para que pueda funcionar como un sistema completo y extraer la mayor cantidad de información posible de la transmisión de video. Idealmente, el sistema podrá extraer tanta información como el ser humano pueda ver en el video. Pero el algoritmo puede hacerlo, con una velocidad mucho mejor. Y, si el ser humano puede procesar solo una transmisión de video a la vez, el sistema podría procesar cientos y cientos de miles de videos en tiempo real.

Jennifer fuerte: ¿Alguna vez te preocupa que alguien pueda tomar todo tu arduo trabajo y usarlo para construir un mundo en el que realmente no quieres vivir?

artem kuharenko : Uh, yo no, en realidad no creo en este escenario porque es bastante, es un buen escenario para la película, pero es un escenario muy poco probable en la vida real.

artem kuharenko : Como empresa de tecnología, siempre tratamos de decirle a la gente para que la gente entienda lo que está pasando y tome la decisión, lo quiera o no.

Jennifer fuerte : Al igual que el fundador de Clearview, dice que depende de nosotros, la gente común y los ciudadanos de todo el mundo, decidir si vivir con esta tecnología y cómo hacerlo. Ahora, considerando los muchos problemas relacionados con la transparencia y la rendición de cuentas, no parecería tan fácil. Pero hay personas que se esfuerzan por asumir esa responsabilidad.

Y conocerás a uno en un momento.

Deb Raji: Supongo que el viaje a donde estamos hoy ha surgido de este primer tipo de romper las lentes de color rosa de, esta es una tecnología que funciona, y demostrar que no funciona para personas muy específicas... y luego al abrir arriba, esta conversación sobre qué significa realmente que el reconocimiento facial funcione?

Soy Debra Raji y soy miembro técnico en el Instituto A-I now.

Jennifer fuerte : Tiene su sede en NYU y trabaja para comprender el impacto social del reconocimiento facial y otras tecnologías de IA.

Deb Raji: Ya sabes, ¿cómo podemos realmente comenzar a tener conversaciones sobre su restricción, sobre la divulgación de su uso y cómo se desarrolla eso en términos de restricciones de políticas?

Jennifer fuerte : Como investigadora de IA, tiene un superpoder que la mayoría de nosotros no tenemos. Puede auditar los algoritmos que hacen que los productos de identificación facial funcionen... siempre que las empresas proporcionen acceso.

Y sus esfuerzos están forzando el cambio. La chispa que la llevó por este camino provino de lo que ella describe como una realización horrible durante su pasantía universitaria en una empresa emergente de aprendizaje automático.

Deb Raji : Espera un segundo, el reconocimiento facial en realidad no funciona para todos.

Jennifer fuerte: Estaba trabajando en un modelo de visión por computadora que ayudaría a los clientes a marcar las imágenes inapropiadas como no seguras para el trabajo. El problema era que marcaba fotos de personas de color a un ritmo mucho más alto.

Así que buscó el problema y lo encontró. El modelo estaba aprendiendo a reconocer las imágenes no seguras de la pornografía y las imágenes seguras de las fotos de archivo. Resulta que la pornografía es mucho más diversa y esa diversidad hizo que la modelo asociara automáticamente la piel oscura con contenido obsceno.

La startup se negó a hacer nada al respecto. Entonces, se puso a trabajar en estos temas con una mujer que conocimos anteriormente en esta serie, Joy Buolamwini, quien como estudiante de posgrado creó un conjunto de datos más diverso y equilibrado. Lo usaron para auditar algoritmos en productos de identificación facial que ya estaban en el mercado.

Este trabajo tiene mucho que ver con la comprensión actual de cómo estos productos les fallan a las mujeres y a las personas de color.

Pero tuvo un costo.

Deb Raji: La comunidad de visión por computadora en ese momento no estaba teniendo estas conversaciones sobre ética, sociedad y equidad. Por ejemplo, ahora estamos mucho más cómodos con este trabajo, pero hubo un momento en el que incluso la comunidad de investigación también era muy hostil y se preguntaba, ¿qué es esto? ¿Cuál es tu punto aquí? ¿Cuál es el significado de esto?

Jennifer fuerte : Eso cambió con el tiempo y ella dice que también encontró apoyo dentro de las empresas que auditan.

Deb Raji : Y a pesar de que su postura a nivel institucional oa nivel corporativo era defensiva. Estas personas dentro de estas empresas lucharon muy duro para cambiar la posición de sus empresas y para impulsar algunas de estas posiciones que vemos hoy.

Jennifer fuerte : Amazon y Microsoft recientemente pusieron una pausa en la venta de sus sistemas de identificación facial a las fuerzas del orden. IBM dejó de trabajar en ello por completo.

Deb Raji : Existe este tipo de reconocimiento adicional con estas moratorias para decir, esperar y, de hecho, mientras se lleva a cabo esta conversación matizada con respecto al establecimiento de esta política y esta regulación que necesitamos desesperadamente. No vamos a vender esa tecnología al mismo tiempo. Y creo que darse cuenta y esa brecha es un importante paso adelante en la conversación.

Jennifer fuerte : Entonces, hay urgencia en este momento, que ella llama una pausa. Y durante esta pausa, hay muchas cosas que debemos resolver.

Pero, ¿si confiamos en que las empresas tecnológicas lleguen hasta el final con la regulación?

Deb Raji : …siempre se van a quedar cortos.

voz en voz alta: Y advierte que la identificación facial es solo la punta del iceberg.

Deb Raji : Es mucho más fácil tener esta conversación sobre rostros que tenerla sobre datos de seguros, o datos médicos, o, ya sabes, incluso algunos de estos, sistemas de seguridad social, aunque esta situación exacta de este desempeño desproporcionado también se aplica. a esos casos.

Jennifer fuerte : Entonces, en el futuro, quiere divulgación y transparencia. Ella también está pidiendo un sistema de evaluación adecuado.

En última instancia, sin embargo:

Deb Raji: Gran parte del poder está en manos de los formuladores de políticas porque las grandes empresas tecnológicas definitivamente no deberían controlar la conversación.

Jennifer fuerte : Podemos estar en un punto de inflexión en nuestra relación con el reconocimiento facial y con la forma en que se utiliza.

Y, sin embargo, parece seguro decir que es probable que la adopción de esta tecnología continúe a un ritmo vertiginoso, dejando nuestra comprensión de su poder e impacto en el polvo, a menos que realmente nos detengamos y tomemos un respiro, y establezcamos algunas reglas para quién. obtiene acceso a imágenes de nuestros rostros y lo que pueden hacer con ellos.

Próximo episodio... vamos a tomar muestras de coronavirus en el metro de la ciudad de Nueva York, mientras exploramos el papel de la IA para que los sistemas de transporte público del mundo vuelvan a funcionar.

Este episodio fue informado y producido por mí, Tate Ryan-Mosley, Emma Cillekens y Karen Hao. Tuvimos la ayuda de Benji Rosen. Estamos editados por Michael Reilly y Gideon Litchfield. Nuestro director técnico es Jacob Gorski.

Nos vemos de nuevo aquí en un par de semanas.

Gracias por escuchar, soy Jennifer Strong.

esconder