211service.com
Dentro del extraño nuevo mundo de ser un actor deepfake
Panetta y Borgoña
En 2019, dos artistas multimedia, Francesca Panetta y Halsey Burgund, se propusieron perseguir una idea provocativa. El video y el audio deepfake habían avanzado en paralelo, pero aún no se habían integrado en una experiencia completa. ¿Podrían hacerlo de una manera que demostrara todo el potencial de la tecnología mientras se educa a la gente sobre cómo se puede abusar de ella?
Para dar vida al experimento, eligieron un tema igualmente provocativo: crearían un historia alternativa del alunizaje del Apolo de 1969 . Antes del lanzamiento, los redactores de discursos del presidente estadounidense Richard Nixon habían preparado dos versiones de su discurso nacional, una designada En caso de desastre lunar , en caso de que las cosas no salgan según lo planeado. El verdadero Nixon, afortunadamente, nunca tuvo que entregarlo. Pero un Nixon falso podría hacerlo.
Entonces, Panetta, el director creativo del Centro de Virtualidad del MIT, y Burgund, miembro del Open Documentary Lab del MIT, se asociaron con dos compañías de IA. IA astuta manejaría el video falso profundo, y Respeto prepararía el audio deepfake. Con todos los componentes técnicos en su lugar, solo necesitaban una última cosa: un actor que ofreciera la interpretación.
Necesitábamos encontrar a alguien que estuviera dispuesto a hacer esto, porque es un pedido un poco extraño, dice Burgund. Alguien que fuera más flexible en su forma de pensar sobre lo que es y hace un actor.
Si bien los deepfakes han existido durante varios años, el casting y la actuación de deepfakes son relativamente nuevos. Las primeras tecnologías de falsificación profunda no eran muy buenas, se usaban principalmente en rincones oscuros de Internet para intercambiar celebridades en videos porno sin su consentimiento. Pero a medida que los deepfakes se han vuelto cada vez más realistas, más y más artistas y cineastas han comenzado a usarlos en producciones de calidad de transmisión y anuncios de televisión. Esto significa contratar actores reales para un aspecto u otro de la actuación. Algunos trabajos requieren que un actor proporcione imágenes base; otros necesitan una voz.
Para los actores, abre apasionantes posibilidades creativas y profesionales. Pero también plantea una serie de cuestiones éticas. Esto es tan nuevo que no hay un proceso real ni nada por el estilo, dice Burgund. Quiero decir, solo estábamos inventando cosas y agitándonos.
¿Quieres convertirte en Nixon?
Lo primero que hicieron Panetta y Burgund fue preguntar a ambas compañías qué tipo de actor necesitaban para que los deepfakes funcionaran. Fue interesante no sólo cuáles eran los criterios importantes, sino también qué no eran , dice Borgoña.
Para las imágenes, Canny AI se especializa en el reemplazo de diálogos de video, que utiliza los movimientos de la boca de un actor para manipular la boca de otra persona en las imágenes existentes. El actor, en otras palabras, actúa como titiritero, y nunca aparece en el producto final. La apariencia, el género, la edad y el origen étnico de la persona realmente no importan.
Pero para el audio, Respeecher, que transmuta una voz en otra, dijo que sería más fácil trabajar con un actor que tuviera un registro y acento similar al de Nixon. Armados con ese conocimiento, Panetta y Burgund comenzaron a publicar en varios foros de actuación y a enviar correos electrónicos a grupos de actuación locales. Su discurso: ¿Quieres convertirte en Nixon?
El actor Lewis D. Wheeler pasó días en el estudio entrenando los algoritmos de deepfake para mapear su voz y rostro con los de Nixon.
PANETTA Y BURDEOSAsí es como Lewis D. Wheeler, un actor blanco de Boston, se encontró encerrado en un estudio durante días escuchando y repitiendo fragmentos del audio de Nixon. Había cientos de fragmentos, cada uno de solo unos segundos de duración, algunos de los cuales ni siquiera eran palabras completas, dice.
Los fragmentos habían sido tomados de varios discursos de Nixon, en gran parte de su renuncia. Dada la naturaleza grave del discurso del desastre lunar, Respeecher necesitaba materiales de capacitación que capturaran el mismo tono sombrío.
El trabajo de Wheeler consistía en volver a grabar cada fragmento con su propia voz, igualando el ritmo y la entonación exactos. Luego, estos pequeños bits se incorporaron al algoritmo de Respeecher para mapear su voz con la de Nixon. Fue bastante agotador y laborioso, dice, pero también muy interesante, construirlo ladrillo por ladrillo.
El deepfake final de Nixon dando el discurso 'En caso de desastre lunar'.
PANETTA Y BURDEOSLa parte visual del deepfake fue mucho más sencilla. En las imágenes de archivo que serían manipuladas, Nixon había entregado la dirección real del alunizaje de frente a la cámara. Wheeler solo necesitaba ofrecer su alternativa, de principio a fin, de la misma manera, para que el equipo de producción capturara los movimientos de su boca en el ángulo correcto.
Aquí es donde, como actor, comenzó a encontrar cosas más familiares. En última instancia, su actuación sería la única parte de él que llegaría al deepfake final. Eso fue lo más desafiante y lo más gratificante, dice. Para eso, realmente tuve que entrar en la mentalidad de, bueno, ¿de qué se trata este discurso? ¿Cómo le dices al pueblo estadounidense que esta tragedia ha ocurrido?
¿Cómo nos sentimos?
A primera vista, Zach Math, un productor y director de cine , estaba trabajando en un proyecto similar. Había sido contratado por Mischief USA, una agencia creativa, para dirigir un par de anuncios para una campaña por el derecho al voto. Los anuncios presentarían versiones falsificadas del líder norcoreano Kim Jong-un y el presidente ruso Vladimir Putin. Pero terminó en medio de algo muy diferente al experimento de Panetta y Burgund.
En consulta con un artista de deepfake, John Lee, el equipo había elegido ir por la ruta del intercambio de caras con el software de código abierto DeepFaceLab . Significaba que el anuncio final incluiría los cuerpos de los actores, por lo que necesitaban elegir dobles de cuerpo creíbles.
El anuncio también incluiría las voces reales de los actores, lo que agregaría una consideración de casting adicional. El equipo quería que los líderes de deepfake hablaran en inglés, aunque con acentos auténticos de Corea del Norte y Rusia. Así que el director de casting se puso a buscar actores masculinos que se parecieran a cada líder en complexión y estructura facial, que coincidieran con su origen étnico y que pudieran hacer imitaciones de voz convincentes.
El proceso de entrenamiento de DeepFaceLab para generar el rostro de Kim Jong-un.
TRAVESURA ESTADOS UNIDOSPara Putin, el proceso de casting fue relativamente fácil. Hay una gran cantidad de imágenes disponibles de Putin pronunciando varios discursos, lo que proporciona al algoritmo una gran cantidad de datos de entrenamiento para falsificar su rostro haciendo una variedad de expresiones. En consecuencia, había más flexibilidad en la apariencia del actor, porque el deepfake podía hacer la mayor parte del trabajo.
Pero para Kim, la mayoría de los videos disponibles lo mostraban usando anteojos, lo que oscurecía su rostro y provocó que el algoritmo fallara. Reducir el metraje de entrenamiento a solo los videos sin gafas dejó muchas menos muestras de entrenamiento de las que aprender. El deepfake resultante todavía se parecía a Kim, pero los movimientos de su rostro se veían menos naturales. Cambiado de cara a un actor, silenció las expresiones del actor.
Para contrarrestar eso, el equipo comenzó a pasar todas las cintas de casting de los actores a través de DeepFaceLab para ver cuál resultaba más convincente. Para su sorpresa, el ganador se parecía menos a Kim físicamente pero tuvo la actuación más expresiva.
El actor elegido para interpretar a Kim Jong-un tenía el menor parecido físico con el dictador pero la actuación más expresiva.
Para abordar los aspectos de la apariencia de Kim que el deepfake no pudo replicar, el equipo se basó en el maquillaje, el vestuario y el trabajo de posproducción. El actor era más delgado que Kim, por ejemplo, por lo que le pidieron que usara un traje gordo.
Cuando se trataba de juzgar la calidad del deepfake, dice Math, se trataba menos de los detalles visuales y más de la experiencia. Nunca fue '¿Esa oreja se ve rara?' Quiero decir, hubo esas discusiones, dice. Pero siempre fue como, 'Siéntate, ¿cómo nos sentimos?'
Estaban actuando efectivamente como un escudo humano.
De alguna manera, hay poca diferencia entre la actuación falsa y la actuación CGI, o quizás la actuación de voz para una caricatura. Tu imagen no llega a la producción final, pero el resultado aún tiene tu firma e interpretación. Pero el casting deepfake también puede ir en la otra dirección, con la cara de una persona intercambiada en la actuación de otra persona.
Hacer que este tipo de falso persuasivo fuera tarea de Ryan Laney, un artista de efectos visuales que trabajó en el documental de HBO de 2020. Bienvenido a Chechenia . La película sigue a activistas que arriesgan sus vidas para luchar contra la persecución de las personas LGBTQ en la república rusa. Muchos de ellos viven en la clandestinidad por miedo a la tortura y la ejecución.
Para contar sus historias, el director David France prometió proteger sus identidades, pero quería hacerlo sin perder su humanidad. Después de probar numerosas soluciones, su equipo finalmente aterrizó en deepfakes. Se asoció con Laney, quien desarrolló un algoritmo que superponía una cara sobre otra mientras conservaba las expresiones de esta última.
Izquierda: Maxim Lapunov, el personaje principal del documental que se hace público a la mitad de la película. Derecha: un activista latino LGBTQ que se ofreció como voluntario para ser el escudo de Maxim.
TUS MEDIOSEl proceso de casting fue, por lo tanto, una búsqueda no de artistas sino de 23 personas que estarían dispuestas a prestar sus rostros. Francia finalmente pidió a los activistas LGBTQ que se ofrecieran como tapaderas. No se basó en quién es el mejor actor, sino en quiénes son las personas interesadas en la causa, dice Laney, porque estaban actuando efectivamente como un escudo humano.
El equipo exploró a los activistas a través de eventos y publicaciones de Instagram, en función de su apariencia. Cada rostro de la cubierta debía verse lo suficientemente diferente de la persona enmascarada y al mismo tiempo alinearse en ciertas características. El vello facial, las líneas de la mandíbula y la longitud de la nariz debían coincidir aproximadamente, por ejemplo, y cada par debía tener aproximadamente la misma edad para que la cara de la persona de la portada se viera natural en el cuerpo del sujeto original.
Izquierda: rostro desenmascarado de Maxim. Derecha: Maxim con su tapadera deepfake.
TUS MEDIOSSin embargo, el equipo no siempre coincidía en etnicidad o género. El personaje principal, Maxim Lapunov, que es blanco, fue protegido por un activista latino, y un personaje femenino fue protegido por un activista que no se conforma con el género.
A lo largo del proceso, France y Laney se aseguraron de obtener el consentimiento plenamente informado de todas las partes. Los sujetos de la película realmente vieron el trabajo antes de que David lo lanzara, dice Laney. Todos pudieron firmar su propia portada para asegurarse de que se sintieran cómodos.
Solo hace que la gente piense
Si bien los deepfakes profesionalizados han ampliado los límites del arte y la creatividad, su existencia también plantea cuestiones éticas complicadas. Actualmente no existen pautas reales sobre cómo etiquetar las falsificaciones profundas, por ejemplo, o dónde se encuentra la línea entre la sátira y la desinformación.
Por ahora, los artistas y cineastas confían en un sentido personal del bien y del mal. France y Laney, por ejemplo, agregaron un descargo de responsabilidad al comienzo del documental que indica que algunos personajes habían sido disfrazados digitalmente para su protección. También agregaron bordes suaves a los individuos enmascarados para diferenciarlos. No queríamos esconder a alguien sin decírselo a la audiencia, dice Laney.
Stephanie Lepp, una artista y productora que crea deepfakes para comentarios políticos, también marca sus videos por adelantado para dejar en claro que son falsos. en su serie Cálculos profundos , que imagina a figuras poderosas como Mark Zuckerberg disculpándose por sus acciones, también usó actores de voz en lugar de audio falso para distinguir aún más el proyecto como satírico y no engañoso.
Otros proyectos han sido más tímidos, como los de Barnaby Francis, un artista-activista que trabaja bajo el seudónimo de Bill Posters. A lo largo de los años, Francisco ha falsificado profundamente a políticos como boris jhonson y celebridades como kim kardashian , todo en nombre de la educación y la sátira. Sin embargo, algunos de los videos solo están etiquetados externamente, por ejemplo, en el pie de foto cuando Francis los publica en Instagram. Sacados de ese contexto, corren el riesgo de desdibujar arte y realidad, lo que le ha llevado a veces a territorio arriesgado .
Ver esta publicación en InstagramUna publicación compartida por Carteles de facturas (@bill_posters_uk) el 1 de junio de 2019 a las 3:47 a. m. PDT
Ver esta publicación en InstagramUna publicación compartida por Carteles de facturas (@bill_posters_uk) el 11 de noviembre de 2019 a las 23:55 PST
También hay pocas reglas sobre qué imágenes y discursos pueden manipularse, y pocas protecciones para los actores detrás de escena. Hasta ahora, la mayoría de los deepfakes profesionalizados se han basado en personas famosas y se han realizado con objetivos claros y constructivos, por lo que están legalmente protegidos en los EE. UU. bajo las leyes de sátira. Sin embargo, en el caso de las falsificaciones profundas de Putin y Kim de Mischief, los actores han permanecido en el anonimato por razones de seguridad personal, dijo el equipo, debido a la naturaleza controvertida de manipular las imágenes de los dictadores.
Sabiendo cómo se han utilizado los deepfakes de aficionados para abusar, manipular y acosar a las mujeres, algunos creadores también están preocupados por la dirección que podrían tomar las cosas. Hay muchas personas que se suben al carro que no están realmente preocupadas ética o moralmente por quiénes son sus clientes, dónde puede aparecer esto y en qué forma, dice Francis.
Sin embargo, a pesar de estas preguntas difíciles, muchos artistas y cineastas creen firmemente que las falsificaciones profundas deberían estar aquí para quedarse. Usada éticamente, la tecnología amplía las posibilidades del arte y la crítica, la provocación y la persuasión. Simplemente hace que la gente piense, dice Francis. Es la forma de arte perfecta para este tipo de tiempos absurdos, casi surrealistas que estamos viviendo.