211service.com
Oculus Rift Hack transfiere tus expresiones faciales a tu avatar
La realidad virtual está configurada para obtener una pizca vital de la realidad social.
El software combina datos de sensores que rastrean las partes superior e inferior de la cara y compara el resultado con un modelo tridimensional de una cara.
Investigadores de la Universidad del Sur de California y la división Oculus de Facebook han demostrado una forma de rastrear las expresiones faciales de alguien que usa un casco de realidad virtual y transferirlas a un personaje virtual. Eso podría hacer que socializar, trabajar o jugar en mundos virtuales sea mucho más gratificante, porque la expresión de un cuerpo virtual doble o un avatar de otro mundo podría imitar perfectamente la del rostro real de una persona.
El sistema rastrea el movimiento de la boca de una persona usando una cámara 3-D conectada al visor con un boom corto. Los movimientos de la parte superior de la cara se miden con galgas extensiométricas añadidas al acolchado de espuma que ajusta el auricular a la cara. Después de combinar las dos fuentes de datos, se puede usar una representación tridimensional precisa de los movimientos faciales del usuario para animar un personaje virtual, ya sea una persona sucedánea o algo que no sea humano (ver video).
Eso podría hacer que habitar e interactuar en mundos virtuales sea más atractivo, dice hao-li , profesor asistente de la Universidad del Sur de California que dirigió el proyecto. Para obtener un entorno social virtual, desea transmitir este comportamiento a otras personas, dice. Este es el primer seguimiento facial que se ha demostrado a través de una pantalla montada en la cabeza. Li fue nombrado uno de Revisión de tecnología del MIT Jóvenes Innovadores de 2013.
El CEO de Facebook, Mark Zuckerberg, ha dicho que está interesado en que los auriculares Oculus Rift brinden nuevas formas de socializar, aunque no ha divulgado ningún detalle. La red social adquirió Oculus el año pasado (ver Lo que Zuckerberg ve en Oculus Rift).
Li dice que los investigadores de Oculus trabajaron con él únicamente como un ejercicio de investigación, pero que no sería demasiado difícil pulir el sistema que idearon y convertirlo en un producto comercial. Si la gente piensa que esto es realmente fundamental para importantes aplicaciones asesinas, podría ponerlo en producción relativamente rápido, dice.
Esto es realmente genial, dice Philip Rosedale, quien anteriormente fundó Second Life y ahora es director general de una startup de mundos virtuales llamada Alta fidelidad . La compañía está trabajando para permitir una interacción social virtual realista mediante el uso de cámaras web y otra tecnología de sensores para rastrear las expresiones faciales y los gestos de los brazos y las manos (consulte The Quest to Put More Reality in Virtual Reality).
Hay buena evidencia de que hacer que los avatares de las personas muestren su lenguaje corporal del mundo real les ayuda a conectarse con otras personas en un mundo virtual, dice Rosedale. Está de acuerdo con Li en que debería ser posible simplificar la primera prueba de concepto. La cámara podría integrarse en la parte inferior de los auriculares, por ejemplo. Los esfuerzos de los investigadores y las nuevas empresas para colocar cámaras de seguimiento ocular dentro de los auriculares de realidad virtual podrían ofrecer una forma alternativa de recopilar datos en la parte superior de la cara.
El eje del sistema de Li es un software que puede combinar datos de los sensores que rastrean las partes superior e inferior de la cara y hacer coincidir el resultado con un modelo tridimensional de una cara.
Por ahora, ese software requiere que pases por un breve proceso de calibración la primera vez que usas el sistema. Primero, entrena los músculos de la cara durante 10 segundos al contorsionarlos en algunas expresiones diferentes mientras usa un auricular con la parte de la pantalla quitada frente a una cámara 3-D, para que pueda obtener una vista completa de la cara. Luego te pones los auriculares completos y ejercitas tu cara durante otros 10 segundos. Los datos recopilados ayudan al software a descubrir cómo hacer coincidir correctamente los flujos de datos de la parte superior e inferior de la cara.
Li dice que está trabajando para eliminar ese paso alimentando su software con más datos en diferentes caras. También está trabajando en otras técnicas que podrían facilitar la copia de su yo real en un mundo virtual. Ya se han desarrollado muchas herramientas para crear réplicas en 3D de los cuerpos y rostros de las personas utilizando cámaras convencionales y 3D. Li creó recientemente un sistema que aborda la tarea más desafiante de hacer una recreación tridimensional realista del peinado de una persona. Su software puede hacerlo usando solo una sola foto . Ese proyecto y la investigación de seguimiento facial se presentarán en la Conferencia de gráficos por computadora Siggraph en Los Ángeles este agosto.