211service.com
El Departamento de Defensa ha producido las primeras herramientas para atrapar deepfakes
SUNY SUNY
Las primeras herramientas forenses para capturar pornografía vengativa y noticias falsas creadas con IA se desarrollaron a través de un programa dirigido por el Departamento de Defensa de EE. UU.
Los expertos forenses se apresuraron a encontrar formas de detectar videos sintetizados y manipulados mediante el aprendizaje automático porque la tecnología hace que sea mucho más fácil crear videos falsos convincentes que podrían usarse para sembrar desinformación o acosar a las personas.
La técnica más común para generar videos falsos consiste en utilizar el aprendizaje automático para cambiar la cara de una persona por la de otra. Los videos resultantes, conocidos como deepfakes, son fáciles de hacer y se pueden sorprendentemente realista . Los ajustes adicionales, realizados por un editor de video experto, pueden hacer que parezcan aún más real .
El truco de video implica el uso de una técnica de aprendizaje automático conocida como modelado generativo, que permite que una computadora aprenda de datos reales antes de producir ejemplos falsos que son estadísticamente similares. Un giro reciente en esto implica tener dos redes neuronales, conocidas como redes antagónicas generativas, que trabajan juntas para producir falsificaciones cada vez más convincentes (ver El padre de GAN: El hombre que le ha dado a las máquinas el don de la imaginación).
Las herramientas para capturar deepfakes se desarrollaron a través de un programa, administrado por la Agencia de Proyectos de Investigación Avanzada de Defensa de EE. UU. (DARPA), llamado Análisis forense de los medios . El programa se creó para automatizar las herramientas forenses existentes, pero recientemente centró su atención en la falsificación hecha por IA.
“Hemos descubierto pistas sutiles en imágenes y videos actuales manipulados por GAN que nos permiten detectar la presencia de alteraciones”, dice Matthew Turek, quien dirige el programa Media Forensics.
Tucker Carlson obtiene su propio cambio de imagen de Nicolas Cage. Universidad de Albany, SUNY
Un equipo dirigido por Siwei Lyu , profesor de la Universidad Estatal de Nueva York en Albany, y uno de sus alumnos. Generamos alrededor de 50 videos falsos y probamos un montón de métodos forenses tradicionales. Funcionaron de vez en cuando, pero no muy bien, dice Lyu.
Entonces, una tarde, mientras estudiaba varios deepfakes, Lyu se dio cuenta de que las caras hechas con deepfakes rara vez, si es que alguna vez, parpadean. Y cuando parpadean, el movimiento de los ojos no es natural. Esto se debe a que los deepfakes se entrenan en imágenes fijas, que tienden a mostrar a una persona con los ojos abiertos.
Otros involucrados en el desafío DARPA están explorando trucos similares para detectar automáticamente falsificaciones profundas: movimientos extraños de la cabeza, color de ojos extraño, etc. Estamos trabajando para explotar este tipo de señales fisiológicas que, al menos por ahora, son difíciles de imitar para los deepfakes, dice hany farid , un destacado experto en análisis forense digital de Dartmouth College.
Turek de DARPA dice que la agencia realizará más concursos para garantizar que las tecnologías en desarrollo puedan detectar las últimas técnicas.
La llegada de estas herramientas forenses puede simplemente señalar el comienzo de una carrera armamentista impulsada por IA entre los falsificadores de videos y los sabuesos digitales. Un problema clave, dice Farid, es que los sistemas de aprendizaje automático pueden entrenarse para superar a las herramientas forenses.
Lyu dice que un falsificador experto podría eludir su herramienta de parpadeo simplemente recopilando imágenes que muestran a una persona parpadeando. Pero agrega que su equipo ha desarrollado una técnica aún más efectiva, pero dice que lo mantiene en secreto por el momento. Prefiero esperar al menos un poco, dice Lyu. Tenemos una pequeña ventaja sobre los falsificadores en este momento y queremos mantener esa ventaja.