La nueva cara de Hollywood

En lo alto de un tren elevado que atraviesa el centro de la ciudad, el hombre enmascarado con traje rojo y azul está en problemas.

No solo está luchando contra un científico loco que está tratando de matarlo con tentáculos robóticos, sino que también necesita salvar a los pasajeros del tren. Todo es parte del trabajo de un día para el superhéroe Peter Parker, también conocido como Spider-Man, pero significa meses de trabajo para un equipo de élite de gurús gráficos.

Esta historia fue parte de nuestro número de septiembre de 2004

• Ver el resto del número
• Suscribir

Esta secuencia de acción del megahit Spider-Man 2 ha deslumbrado a millones de espectadores este verano. Mire de cerca al villano, el Doctor Octopus (interpretado por el actor Alfred Molina), y lo verá sonreír como un maníaco y gritar mientras deambula por la parte superior y los lados del tren. Más adelante en la escena, Spider-Man (Tobey Maguire) pierde su máscara mientras se apoya contra la parte delantera del tren, deteniéndolo en seco. Sus expresiones faciales frenéticas parecen convincentemente naturales.

Con todo el rápido cruce entre imágenes de superhéroe y villano, la audiencia probablemente no sospecha que los rostros y figuras que aparecen en la pantalla la mayor parte del tiempo no son reales. Más bien, son brebajes digitales creados dentro de una computadora en Sony Pictures Imageworks en Culver City, CA.

Hemos llegado a un punto en el que podemos hacer que cada cosa sea generada por computadora. Todo, desde los cristales rotos del tren hasta todos los edificios, vías y personas, dice Mark Sagar, supervisor gráfico de Spider-Man 2 y el experto residente de Imageworks en rostros humanos digitales. Señala la secuencia del tren mientras se reproduce en la pantalla de su computadora. Mira lo que hace la cámara. Aquí va rápido a lo largo del tren, luego debajo de los artistas, luego frente a ellos, luego un plano general. ¿Cómo pudiste hacer eso con una cámara real? Pero las caras digitales de las personas son la última pieza crucial de este rompecabezas. En el pasado, empalmar metraje de actores reales en una escena digital requería cámaras reales, trabajos de acrobacias difíciles y ajustes para lograr que el aspecto de las imágenes reales y digitales coincidieran; la capacidad de hacer todo generado por computadora, incluidos rostros humanos, abre una gran cantidad de posibilidades creativas.

Los rostros digitales fotorrealistas, los que pueden pasar por reales en imágenes fijas o en la pantalla grande, se encuentran entre las últimas fronteras de los gráficos por computadora. Hasta hace poco, los rostros digitales parecían falsos cuando se examinaban de cerca y, por lo tanto, se los relegaba a cortes rápidos y tomas de fondo. El problema es que somos extraordinariamente sensibles a cómo deben verse los rostros humanos; Es mucho más fácil engañar a la gente con un T. rex generado por computadora que con un humano digital. Pero los avances en la representación de la piel, la iluminación de escenas digitales y el análisis de imágenes de actores reales como referencia ahora permiten a los artistas y programadores controlar la textura y el movimiento de cada pequeño parche de píxeles en una cara computarizada. El equipo de Sony espera que el público no pueda distinguir la diferencia entre Tobey Maguire y su doble digital, quizás la primera vez que se logra tal verosimilitud.

Hay mucho en juego. Los efectos digitales son un negocio de miles de millones de dólares y están creciendo rápidamente; En estos días, el presupuesto típico de una película de gran éxito puede ser de $ 150 millones, y la mitad de ese presupuesto se destina a compañías de efectos. De hecho, Spider-Man 2 es solo un ejemplo del uso cada vez mayor de Hollywood de la investigación gráfica de vanguardia para crear mejores actores digitales, desde dobles de acción de Neo y la multitud de Agent Smiths en las películas de Matrix hasta Gollum en la serie El señor de los anillos. . Ha llegado al punto en que la industria bromea sobre la sustitución de actores por ordenadores (premisa de la película S1m0ne de 2002). Y Sony Pictures Imageworks, fundada en 1992 y con más de 40 largometrajes en su haber, está a la vanguardia de las casas de efectos que compiten por el negocio de los grandes estudios (ver Making Faces,).

Pero el beneficio real de los actores digitales no es reemplazar a los en vivo: ofrece escenas que llevan a los espectadores a lugares a los que ningún actor real o configuración de cámara podría ir. Le da a los directores más flexibilidad y les permite realizar acciones que no pueden hacer con especialistas reales, dice Scott Stokdyk, supervisor de efectos visuales de Imageworks a cargo de la serie Spider-Man. En el pasado, los directores y editores básicamente hacían un masaje en torno a diferentes acciones rápidas y ángulos de cámara para transmitir una historia, dice Stokdyk. Ahora no tienen ese tipo de límites. Así liberados, los directores pueden seguir a los actores sintéticos mientras recorren rascacielos y esquivan las balas en cámara lenta. Es más, los actores pueden envejecer digitalmente o disminuir su edad sin tener que pasar horas maquillándose. Las estrellas de cine fallecidas hace mucho tiempo incluso podrían resucitar digitalmente.

Y las películas son solo el comienzo. Las técnicas para crear humanos digitales están ampliando la frontera de las interfaces y los gráficos por computadora. Estos esfuerzos podrían permitir simulaciones de entrenamiento médico sorprendentemente realistas, avatares realistas para el correo electrónico y las salas de chat de Internet, y pronto, personajes mucho más atractivos en juegos y películas interactivas. La tecnología, dice Sagar, está absolutamente lista para el horario de máxima audiencia.

Virtual Visage

Mark Sagar siempre se ha debatido entre el arte y la ciencia. Después de la universidad, pasó tres años viajando por el mundo, dibujando retratos para ganarse la vida. Pero el tirón de la tecnología lo hizo regresar a la escuela de posgrado en su natal Nueva Zelanda para estudiar ingeniería. Nunca pensé que pasaría años de mi vida estudiando el rostro humano, admite, sentado en su oficina en Imageworks, rodeado de libros y artículos sobre percepción visual.

Escuchar a Sagar describir el rostro humano como un dispositivo de señalización multicanal sugiere que su lado científico e ingeniero ha ganado. Comprender la ciencia detrás de los rostros, dice, le permite hacer que el mensaje de un personaje digital se transmita de manera más efectiva en la pantalla. Expresiones como los ojos bajos, el ceño fruncido o los labios fruncidos indican el estado emocional de una persona y dan pistas sobre su intención.

El camino de Sagar hacia Hollywood se abrió casi por accidente. A mediados de la década de 1990, como estudiante de posgrado en la Universidad de Auckland y como becario postdoctoral en el MIT, desarrolló simulaciones por computadora del ojo y el rostro humanos que podrían ayudar a los médicos en formación a aprender técnicas quirúrgicas. Sus simulaciones parecían tan reales que un equipo de emprendedores de las puntocom lo convenció de que cofundara una startup gráfica llamada LifeFX en Newton, MA. Su misión: comercializar software que todos, desde cineastas hasta empresas web y proveedores de correo electrónico, puedan utilizar para producir imágenes fotorrealistas de personas.

Sagar pronto se convirtió en una autoridad líder en rostros digitales para entretenimiento. En 1999, vino a Los Ángeles para trabajar en

animaciones faciales generadas por computadora para películas, incluida una del actor Jim Carrey. Paul Debevec, un investigador gráfico que se hizo un nombre creando entornos virtuales y avanzando en las técnicas de iluminación digital, vio las películas de Sagar en una conferencia y estaba intrigado: nunca había visto caras falsas que parecieran tan convincentes de cerca. Ese fue el momento que me hizo cruzar el umbral de creer verdaderamente que una cara fotorrealista de gráficos por computadora sucedería en los próximos cinco años, dice Debevec, quien ahora está en el Instituto de Tecnologías Creativas de la Universidad del Sur de California (ver el Master de Hollywood of Light, TR marzo de 2004).

Los dos científicos entablaron una colaboración, utilizando las técnicas de iluminación de Debevec para representar los rostros digitales de Sagar, una combinación que los catapultó rápidamente a la vanguardia del campo. Resulta que si estás intentando simular una cara, conseguir la iluminación correcta es un gran problema. A diferencia de las simulaciones por computadora anteriores que parecían extrañas en diferentes contextos y tenían que ajustarse mediante prueba y error, las caras de Sagar y Debevec se podían adaptar para que coincidieran con la iluminación de cualquier escena. Esto se debe a que se construyeron utilizando una base de datos rica de rostros reales fotografiados desde diferentes ángulos e iluminados por muchas combinaciones diferentes de luz. Cuando LifeFX cerró en 2002, Imageworks arrebató a Sagar específicamente por su experiencia en rostros.

Inmediatamente comenzó a trabajar en la primera prueba cinematográfica de estas técnicas: Spider-Man 2. Las escenas de acción de la película requerían simulaciones detalladas y expresivas de los rostros de actores conocidos, un problema particularmente difícil, dice Sagar. Las audiencias no solo rechazan rápidamente los rostros humanos sustitutos en general, sino que son particularmente sensibles a los rostros que reconocen; cualquier discrepancia entre lo digital y lo real podría percibirse como falsa. Para que las simulaciones funcionaran, los investigadores necesitaban muchas imágenes de referencia de los actores reales bajo diferentes condiciones de iluminación.

Así que Maguire y Molina pasaron cada uno un día en el laboratorio de Debevec. Supervisados ​​por el programador de investigación Tim Hawkins, se sentaron en un aparato especial llamado escenario de luz mientras cuatro cámaras fotográficas capturaban cientos de imágenes de sus cabezas y rostros haciendo una variedad de expresiones e iluminadas por luces estroboscópicas desde todos los ángulos posibles. Los actores también tenían escaneos láser y moldes de yeso de sus cabezas y caras, de modo que se pudieran construir modelos digitales en 3D de alta resolución de sus imágenes en computadoras.

En Imageworks, Sagar y su equipo crearon un software fácil de usar para que decenas de artistas pudieran usar los gigabytes de datos de imágenes sin atascarse en detalles técnicos. Para hacer que la secuencia del tren se vea bien, por ejemplo, el software de Sagar combinó imágenes de la configuración de Debevec en compuestos que coincidían con la iluminación del mundo real en el set de la película, luego mapeó los compuestos en modelos de computadora en 3D de los actores. Para hacer que las caras se movieran, los animadores manipularon los modelos fotograma a fotograma, utilizando imágenes y videos existentes de los actores como una guía aproximada. El software calculó los cambios de iluminación en función de cómo se deformaron los modelos faciales e iluminó la piel digital en consecuencia. El resultado: actores sintéticos que se parecen a Maguire y Molina (intercalados con los de carne y hueso) zumban por el aire, alrededor de rascacielos, sobre trenes y bajo el agua, emocionados todo el tiempo.

Imageworks es un excelente ejemplo de cómo las casas de efectos están integrando nuevas investigaciones en sus líneas de producción más rápidamente que hace unos años. (Si bien el público puede estar asombrado por lo que ha aparecido últimamente en el multiplex, la tecnología gráfica fundamental en las películas no cambió mucho en la década de 1990). Antes, había un retraso muy largo. Algo se desarrollaba y luego había que esperar diez años para que una empresa de software lo comercializara, dice J. P. Lewis, experto en gráficos y animación en el laboratorio de Tecnología Inmersiva y Gráficos por Computadora de la Universidad del Sur de California. Ahora, creo que las empresas son mucho más conscientes de la investigación y tienden a lanzarse a ella mucho más rápido.

Un paseo por los pasillos oscuros de Imageworks esta primavera encontrará al equipo luchando para dar los toques finales a las más de 800 tomas de efectos de Spider-Man 2. Es una multitud joven y moderna que luce anteojos de moda y exhibe recuerdos de la película en sus escritorios. - fotos, muñecos de acción, un elenco del rostro de Tobey Maguire. El día que envía su última toma para la película, el supervisor de efectos visuales Stokdyk lamenta que no haya más tiempo. El mayor desafío, dice, fue combinar el rostro a veces real, a veces digital, de Molina con su disfraz de Doc Ock y su entorno estilo cómic. Coincidir con la realidad, suspira, es casi imposible.

Pon tu cara de juego

De hecho, a pesar de los millones de dólares invertidos en el problema, los rostros humanos digitales todavía tienen mucho camino por recorrer. Lo que queda por hacer puede parecer pasos incrementales: hacer que los movimientos de los ojos sean menos robóticos, capturar los cambios en el flujo sanguíneo para que las mejillas se ruboricen, hacer que la piel se arrugue de la manera correcta durante una sonrisa, pero se suman. El último 20 por ciento podría tomar el 80 por ciento de nuestro tiempo para hacerlo bien, pero definitivamente estamos en el último 20 por ciento, dice Darin Grant, director de tecnología de Digital Domain en Venice, CA, que hizo animaciones de personajes para la I de este verano. Robot.

Al final, las audiencias comerciales decidirán el valor de estos dobles digitales. La prueba definitiva de lo que hacemos es cómo se ve en la pantalla y cómo se traduce en producción, dice Grant. Su colega Brad Parker, supervisor de efectos visuales y director de Digital Domain, sostiene que los humanos digitales pagarán dividendos crecientes para los cineastas y para la comunidad gráfica. Es un gran problema, dice. Combina todo lo difícil de los gráficos por computadora.

Aún no se comprende bien por qué es un problema tan difícil, exactamente lo que nuestros ojos detectan como incorrecto en un ser humano digital. Pero los investigadores gráficos de la Universidad del Sur de California, Lewis y Ulrich Neumann, están tratando de averiguarlo. En experimentos recientes, su grupo mostró destellos de rostros reales y digitales a voluntarios para ver si podían notar la diferencia. Los resultados fueron sorprendentes y frustrantes. Pasamos un año trabajando en estas caras, pero no pudimos engañar a la gente ni un cuarto de segundo, dice Lewis. Él predice que este trabajo conducirá a modelos estadísticos de cómo se comportan los rostros humanos reales, lo que a su vez producirá herramientas de software que los artistas pueden usar para hacer que los personajes muevan los ojos de esa manera o cambien las expresiones de otras formas sutiles que podrían ser vitales para la credibilidad.

Estos avances deberían tener un impacto dramático. Steve Sullivan, director de investigación y desarrollo de Industrial Light and Magic en San Rafael, CA, dice Steve Sullivan, 'Probablemente miremos hacia atrás en 10 años y pensemos que los dobles digitales de hoy se ven horriblemente primitivos'.

Y no serán solo las películas las que se renueven. Las mismas herramientas de simulación gráfica que los cineastas están empezando a dominar también ayudarán a impulsar el próximo gran mercado de caras digitales: los videojuegos. Los juegos de hoy cuentan con criaturas y paisajes deslumbrantes, pero sus personajes humanos ni siquiera están cerca de ser fotorrealistas. Simplemente no es práctico programar en todos los ángulos de visión y expresión que puedan surgir durante el transcurso de un juego interactivo multinivel.

Ahí es donde entra George Borshukov. Borshukov, un científico informático que diseñó humanos digitales de vanguardia para las películas de Matrix (todos esos Smiths en Reloaded y Revolutions son de su equipo), ahora está aplicando tecnología facial a los juegos. Un ex supervisor de tecnología en ESC Entertainment en Alameda, CA, Borshukov se mudó recientemente a la potencia de los videojuegos Electronic Arts en Redwood City, CA. Él dice que el hardware de juegos de próxima generación estará cerca de demostrar técnicas para rostros fotorrealistas en tiempo real, pero que se necesitarán compensaciones, aproximaciones y compresión de datos para que esto suceda.

El problema es que con los juegos, todo tiene que suceder sobre la marcha. Sin embargo, todavía se necesitan algunas horas para renderizar un solo fotograma de las mejores caras digitales de la actualidad. Eso es viable si tiene meses para producir las escenas, como en una película. En un juego o película interactiva, sin embargo, la imagen particular solicitada puede no existir hasta que el usuario la ordena con el movimiento de un joystick. Hacer esto práctico requerirá un software que sea miles de veces más rápido.

Cinco años después, dicen los expertos, un híbrido entre un juego y una película podría permitir a los espectadores / jugadores diseñar y dirigir sus propias películas e incluso meterse en la acción. Primero puede emitir la película escaneando fotos de personas reales, usted y sus amigos, por ejemplo, y ejecutando un software que crearía modelos fotorrealistas en 3D de esas personas. Luego, en tiempo real, podría dirigir la acción de la película a través de un controlador de mano o un teclado, desde hacer zoom con la cámara alrededor de los personajes hasta hacer que el actor principal corra en una dirección determinada. El entretenimiento interactivo, dice Borshukov, es donde está el futuro real.

De cara al futuro

De vuelta en Imageworks, una tormenta de actividad se arremolina alrededor de Mark Sagar. Los artistas están en modo crujiente para otro proyecto de actor digital, The Polar Express de este otoño, basado en el popular libro para niños. Pero Sagar, que no está directamente involucrado en ese esfuerzo, está fascinado por lo que está más adelante en el camino: un enfoque más elegante de las caras digitales basado en principios científicos subyacentes. Veo el trabajo de hoy como una etapa intermedia en la que todavía tenemos que capturar una gran cantidad de datos, dice. Eventualmente, todo usará modelos matemáticos de cómo se mueven las cosas y cómo reflejan la luz.

Sagar también ve aplicaciones mucho más amplias de humanos digitales en gráficos médicos, simulaciones de entrenamiento cooperativo para trabajadores de rescate e interfaces humano-computadora que podrían ayudar a los usuarios a comunicarse de manera más efectiva tanto con máquinas como con otras personas. Fuera de la industria del entretenimiento, grandes organizaciones como Microsoft y Honda están investigando sobre gráficos avanzados y modelado humano, incluido software que podría permitirle crear personajes virtuales realistas y avatares digitales basados ​​solo en una foto. Los algoritmos relacionados también podrían ayudar a las computadoras a reconocer rostros e interpretar expresiones, ya sea por motivos de seguridad o para predecir las necesidades de un usuario.

Estamos en una edad interesante en la que comenzamos a ser capaces de simular humanos hasta el último detalle, dice Sagar. Hay cierta ironía en su declaración. Porque una vez que los humanos digitales se hagan bien, serán indistinguibles de los reales; el público ni siquiera se dará cuenta de que artistas y científicos como Sagar han cambiado el rostro del entretenimiento y la sociedad.

Gregory T. Huang es editor asociado de TR.

esconder