El artista de deepfake más importante del mundo está luchando con el monstruo que creó

Es junio en Dalian, China, una ciudad en una península que se adentra en el Mar Amarillo a unos cientos de millas de Beijing en una dirección y de la frontera con Corea del Norte en la otra. Hao Li está de pie dentro de un edificio cavernoso y angular que fácilmente podría ser la guarida de un villano de Bond. Afuera, el clima es sofocante y la seguridad es estricta. La conferencia anual del Foro Económico Mundial está en la ciudad.

Cerca de Li, políticos y directores ejecutivos de todo el mundo se turnan para entrar en una cabina. En el interior, se ríen mientras su rostro se transforma en el de una persona famosa: Bruce Lee, Neil Armstrong o Audrey Hepburn. El truco ocurre en tiempo real y funciona casi a la perfección.

La notable máquina de intercambio de rostros no se creó simplemente para distraer y divertir a los ricos y poderosos del mundo. Li quiere que estas personas poderosas consideren las consecuencias que los videos manipulados con IA (deepfakes) podrían tener para ellos y para el resto de nosotros.

La desinformación ha sido durante mucho tiempo una herramienta popular de sabotaje geopolítico, pero las redes sociales han inyectado combustible para la difusión de noticias falsas. Cuando las secuencias de video falsas son tan fáciles de hacer como los artículos de noticias falsos, es una garantía virtual de que se convertirán en armas. ¿Quiere influir en una elección, arruinar la carrera y la reputación de un enemigo o provocar violencia étnica? Es difícil imaginar un vehículo más efectivo que un clip que mira auténtica, que se propaga como la pólvora a través de Facebook, WhatsApp o Twitter, más rápido de lo que las personas pueden darse cuenta de que han sido engañadas.

Como pionera de la falsificación digital, a Li le preocupa que las falsificaciones profundas sean solo el comienzo. A pesar de haber ayudado a marcar el comienzo de una era en la que no siempre se puede confiar en nuestros ojos, quiere usar sus habilidades para hacer algo sobre el problema inminente del engaño de video casi perfecto y omnipresente.

La pregunta es, ¿podría ser ya demasiado tarde?

Reescribiendo la realidad

Li no es el típico farsante. Él no acecha en Reddit publicando porno falso o reshoots de películas famosas modificado para protagonizar Nicolas Cage . Ha pasado su carrera desarrollando técnicas de vanguardia para forjar rostros de manera más fácil y convincente. También se ha metido con algunas de las caras más famosas del mundo para los éxitos de taquilla modernos, engañando a millones de personas haciéndoles creer en una sonrisa o un guiño que en realidad nunca estuvo allí. Hablando por Skype desde su oficina en Los Ángeles una tarde, casualmente menciona que Will Smith visitó recientemente, para una película en la que está trabajando.

Los actores a menudo vienen al laboratorio de Li en la Universidad del Sur de California (USC) para escanear digitalmente su imagen. Se colocan dentro de un conjunto esférico de luces y cámaras de visión artificial para capturar la forma de la cara, las expresiones faciales y el tono y la textura de la piel hasta el nivel de los poros individuales. Un equipo de efectos especiales que trabaja en una película puede manipular escenas que ya se han filmado o incluso agregar un actor a uno nuevo en posproducción.

Cortesía de Hao Li

Tal engaño digital ahora es común en las películas de gran presupuesto. Los fondos a menudo se renderizan digitalmente, y es común que la cara de un actor se pegue en la de un doble en una escena de acción. Eso ha llevado a algunos momentos impresionantes para los cinéfilos, como cuando una princesa Leia adolescente apareció brevemente al final de Rogue One: Una historia de Star Wars , a pesar de que la actriz que había interpretado a Leia, Carrie Fisher, tenía casi 60 años cuando se rodó la película.

Hacer que estos efectos se vean bien normalmente requiere una gran experiencia y millones de dólares. Pero gracias a los avances en inteligencia artificial, ahora es casi trivial intercambiar dos caras en un video, usando nada más poderoso que una computadora portátil. Con un poco de conocimiento adicional, puedes hacer que un político, un director ejecutivo o un enemigo personal diga o haga lo que quieras (como en el video al principio de la historia, en el que Li mapeó la imagen de Elon Musk en mi rostro).

Una historia de engaño

En persona, Li parece más ciberpunk que Sunset Strip. Su cabello está afeitado en un Mohawk que cae hacia un lado y, a menudo, usa una camiseta negra y una chaqueta de cuero. Cuando habla, tiene la extraña costumbre de parpadear de una manera que delata las noches pasadas en el cálido resplandor de una pantalla de computadora. No es tímido a la hora de promocionar la brillantez de su tecnología, o lo que tiene en proceso. Durante las conversaciones, le gusta sacar un teléfono inteligente para mostrarte algo nuevo.

Cortesía de Hao Li

Li creció en Saarbrücken, Alemania, hijo de inmigrantes taiwaneses. Asistió a una escuela secundaria franco-alemana y aprendió a hablar cuatro idiomas con fluidez (francés, alemán, inglés y mandarín). Recuerda el momento en que decidió pasar su tiempo desdibujando la línea entre la realidad y la fantasía. Fue en 1993, cuando vio un enorme dinosaurio a la vista en la película de Steven Spielberg. Parque jurásico . Mientras los actores miraban boquiabiertos a la bestia generada por computadora, Li, entonces de 12 años, comprendió lo que la tecnología acababa de hacer posible. Me di cuenta de que ahora básicamente podías crear cualquier cosa, incluso cosas que ni siquiera existen, recuerda.

Li obtuvo su doctorado en ETH Zurich, una prestigiosa universidad técnica en Suiza, donde uno de sus asesores lo recuerda como un estudiante brillante y un bromista incorregible. Los videos que acompañaban a los trabajos académicos a veces incluían caricaturas poco halagadoras de sus maestros.

Los hermanos de Paul Walker proporcionaron una plantilla para su imagen digital en Furious 7. Weta Digital

Poco después de unirse a la USC, Li creó la tecnología de seguimiento facial que se usó para hacer una versión digital del difunto actor Paul Walker para la película de acción. furioso 7 . Fue un gran logro, ya que Walker, quien murió en un accidente automovilístico a la mitad del rodaje, no había sido escaneado de antemano y su personaje necesitaba aparecer en muchas escenas. La tecnología de Li se usó para pegar la cara de Walker en los cuerpos de sus dos hermanos, quienes se turnaron para actuar en su lugar en más de 200 escenas.

La película, que recaudó 1500 millones de dólares en taquilla, fue la primera en depender tanto de una estrella recreada digitalmente. Li menciona el papel virtual de Walker cuando habla de cuán buenos se están volviendo los trucos de video. Incluso yo no puedo decir cuáles son falsos, dice con un movimiento de cabeza.

Virtualmente Uds

En 2009, menos de una década antes de que surgieran los deepfakes, Li desarrolló una forma de capturar el rostro de una persona en tiempo real y usarlo para operar una marioneta virtual. Esto implicó el uso de los últimos sensores de profundidad y un nuevo software para mapear esa cara y sus expresiones en una máscara hecha de material virtual deformable.

Un ejemplo de seguimiento de rostros basado en marcadores. Tecnologías de artículos faciales

Lo que es más importante, el enfoque funcionó sin la necesidad de agregar docenas de marcadores de seguimiento de movimiento a la cara de una persona, una técnica estándar de la industria para rastrear el movimiento de la cara. Li contribuyó al desarrollo de un software llamado Faceshift, que más tarde se comercializaría como un spin-off universitario. La compañía fue adquirida por Apple en 2015, y su tecnología se usó para crear el software Animoji que te permite convertirte en un unicornio o en un montón de caca parlante en los últimos iPhones.

Li y sus estudiantes han publicado docenas de artículos sobre temas como avatares que reflejan movimientos de todo el cuerpo, cabello virtual altamente realista y piel simulada que se estira como la piel real. En los últimos años, su grupo se ha basado en los avances en el aprendizaje automático y especialmente en el aprendizaje profundo, una forma de entrenar a las computadoras para que hagan cosas utilizando una gran red neuronal simulada. Su investigación también se ha aplicado a la medicina, ayudando a desarrollar formas de rastrear tumores dentro del cuerpo y modelar las propiedades de huesos y tejidos.

Hoy, Li divide su tiempo entre enseñar, asesorar a estudios de cine y dirigir una nueva empresa, Pinscreen. La empresa utiliza una IA más avanzada que la que está detrás de los deepfakes para crear avatares virtuales. su aplicación convierte una sola foto en un avatar 3D fotorrealista en unos segundos Emplea algoritmos de aprendizaje automático que han sido entrenados para mapear la apariencia de una cara en un modelo 3D utilizando muchos miles de imágenes fijas y los escaneos 3D correspondientes. El proceso se mejora utilizando lo que se conoce como redes antagónicas generativas o GAN (que no se utilizan para la mayoría de las falsificaciones profundas). Esto significa que un algoritmo produzca imágenes falsas mientras que otro juzga si son falsas, un proceso que mejora gradualmente la falsificación. Puede hacer que su avatar realice bailes tontos y probar diferentes atuendos, y puede controlar las expresiones faciales del avatar en tiempo real, usando su propia cara a través de la cámara de su teléfono inteligente.

Un exempleado, Iman Sadeghi, está demandando a Pinscreen, alegando que falsificó una presentación de la tecnología en la conferencia SIGGRAPH en 2017. Revisión de tecnología del MIT ha visto cartas de varios expertos y organizadores de SIGGRAPH que desestiman esas afirmaciones.

Pinscreen está trabajando con varios minoristas de ropa de renombre que ven su tecnología como una forma de permitir que las personas se prueben prendas sin tener que visitar una tienda física. La tecnología también podría ser importante para videoconferencias, realidad virtual y juegos. Solo imagina un personaje de Fortnite que no solo se parece a ti, sino que también se ríe y baila de la misma manera.

Avatares creados con la aplicación Pin Screen. Cortesía de Hao Li

Sin embargo, debajo de la tontería digital hay una tendencia importante: la IA está convirtiendo rápidamente la manipulación avanzada de imágenes en la provincia del teléfono inteligente en lugar del escritorio. FaceApp, desarrollado por una empresa en San Petersburgo, Rusia, ha atraído a millones de usuarios y ha generado controversia recientemente al ofrecer una forma de cambiar una cara en su teléfono con un solo clic. Puede agregar una sonrisa a una foto, eliminar imperfecciones o alterar su edad o género (o el de otra persona). Docenas de aplicaciones más ofrecen manipulaciones similares con solo hacer clic en un botón.

No todo el mundo está entusiasmado con la perspectiva de que esta tecnología se vuelva omnipresente. Li y otros básicamente están tratando de hacer deepfakes de una imagen, móviles y en tiempo real, dice Sam Gregory, director de Witness, una organización sin fines de lucro enfocada en videos y derechos humanos. Ese es el nivel de amenaza que me preocupa, cuando [se convierte] en algo que es menos fácil de controlar y más accesible para una variedad de actores.

Afortunadamente, la mayoría de los deepfakes todavía se ven un poco raros. Una cara parpadeante, un ojo torcido o un tono de piel extraño los hace bastante fáciles de detectar. Pero así como un experto puede eliminar tales fallas, los avances en IA prometen suavizarlas automáticamente, haciendo que los videos falsos sean más simples de crear y más difíciles de detectar.

A pesar de que Li sigue adelante con la falsificación digital, también le preocupa el potencial de daño. Estamos sentados frente a un problema, dice.

Atrapar impostores

Los legisladores de EE. UU. están especialmente preocupados por cómo se pueden usar los deepfakes para difundir noticias falsas e información errónea más convincentes antes de las elecciones presidenciales del próximo año. A principios de este mes, el Comité de Inteligencia de la Cámara preguntó a Facebook, Google y Twitter cómo planeaban lidiar con la amenaza de las falsificaciones profundas. Cada empresa dijo que estaba trabajando en el problema, pero ninguna ofreció una solución.

DARPA, la agencia de investigación bien financiada del ejército estadounidense, también está preocupada por el aumento de la manipulación digital. En 2016, antes de que los deepfakes se convirtieran en una cosa, DARPA lanzó un programa llamado Media Forensics, o MediFor, para alentar a los expertos en análisis forense digital a desarrollar herramientas automatizadas para capturar imágenes manipuladas. Un experto humano podría usar una variedad de métodos para detectar falsificaciones fotográficas, desde analizar inconsistencias en los datos de un archivo o las características de píxeles específicos hasta buscar inconsistencias físicas como una sombra fuera de lugar o un ángulo improbable.

MediFor ahora se enfoca principalmente en detectar falsificaciones profundas. La detección es fundamentalmente más difícil que la creación porque los algoritmos de IA pueden aprender a ocultar cosas que revelan falsificaciones. Los primeros métodos de detección de deepfake incluyen el seguimiento de parpadeo poco natural y movimientos extraños de los labios. Pero los últimos deepfakes ya han aprendido a suavizar automáticamente tales fallas.

A principios de este año, Matt Turek, gerente del programa DARPA para MediFor, le pidió a Li que demostrara sus falsificaciones a los investigadores de MediFor. Esto condujo a una colaboración con Hany Farid, profesor de UC Berkeley y una de las autoridades más importantes del mundo en análisis forense digital. La pareja ahora está involucrada en un juego digital del gato y el ratón, con Li desarrollando deepfakes para que Farid los atrape, y luego refinándolos para evadir la detección.

Farid, Li y otros recientemente publicó un papel esbozando una forma nueva y más poderosa de detectar falsificaciones profundas. Se basa en entrenar un algoritmo de aprendizaje automático para reconocer las peculiaridades de las expresiones faciales y los movimientos de la cabeza de un individuo específico. Si simplemente pega la imagen de alguien en otra cara, esas características no se transferirán. Requeriría mucha potencia informática y datos de entrenamiento, es decir, imágenes o videos de la persona, para hacer un deepfake que incorpore estas características. Pero algún día será posible. Las soluciones técnicas seguirán mejorando en el lado defensivo, dice Turek. Pero, ¿será perfecto? Lo dudo.

Píxel perfecto

De vuelta en Dalian, está claro que la gente está empezando a darse cuenta del peligro de las falsificaciones profundas. La mañana antes de reunirme con Li, un político europeo había entrado en la cabina de intercambio de caras, solo para que sus cuidadores lo detuvieran. Les preocupaba que el sistema pudiera capturar su imagen en detalle, facilitando que alguien creara clips falsos de él.

Un empleado de Pinscreen demuestra un sistema de intercambio de rostros en vivo en la conferencia del Foro Económico Mundial en Dalian, China, en julio. Cortesía de Hao Li

Mientras observa a las personas que usan la cabina, Li me dice que no hay ninguna razón técnica por la que las falsificaciones profundas deban ser detectables. Los videos son solo píxeles con un cierto valor de color, dice.

Hacerlos perfectos es solo una cuestión de tiempo y recursos, y como muestra su colaboración con Farid, cada vez es más fácil. Estamos siendo testigos de una carrera armamentista entre las manipulaciones digitales y la capacidad de detectarlas, dice, con avances de algoritmos basados ​​en IA que catalizan ambos lados.

La mala noticia, piensa Li, es que eventualmente ganará. En unos años, calcula, se podrían crear deepfakes indetectables con un clic. Cuando llega ese punto, dice, debemos ser conscientes de que no todos los videos que vemos son ciertos.

esconder