Convertir la cámara de un teléfono inteligente normal en una 3-D

Casi todo el mundo lleva una cámara hoy en día en virtud de tener un teléfono celular, pero pocos de estos dispositivos capturan los contornos tridimensionales de los objetos como lo hace una cámara de profundidad.

En cámara: Con algunos cambios de hardware, como un anillo de LED de infrarrojo cercano, Microsoft LifeCam se adapta para funcionar como una cámara de profundidad.

Las cámaras de profundidad están ganando protagonismo rápidamente por su potencial en dispositivos de bolsillo, donde la idea es que si nuestros teléfonos capturan los contornos de todo, desde las esquinas de las calles hasta la disposición de su sala de estar, los desarrolladores pueden crear aplicaciones que van desde mejores juegos interactivos hasta útiles Guías para personas con discapacidad visual.

Sin embargo, aunque esfuerzos como el de Google proyecto tango están agregando cámaras de profundidad a los dispositivos móviles, nueva investigación de Microsoft muestra que con algunas modificaciones simples y técnicas de aprendizaje automático, la cámara o cámara web de un teléfono inteligente normal se puede usar como una cámara de profundidad 3-D. La idea es facilitar el acceso al desarrollo de aplicaciones 3D al reducir los costos y las barreras técnicas de entrada para tales dispositivos, y hacer que las cámaras de profundidad 3D sean mucho más pequeñas y consuman menos energía.

Manos arriba: Los investigadores de Microsoft modificaron la cámara de un teléfono inteligente para que pueda capturar la profundidad de las manos y los rostros.

Un grupo dirigido por Sean Ryan Fanello, Cem Keskin y Shahram Izadi de Microsoft Research tiene previsto presentar un papel sobre el trabajo del martes en Siggraph, una conferencia de interacción y gráficos por computadora en Vancouver, Columbia Británica.

Para modificar las cámaras, el grupo eliminó el filtro de infrarrojo cercano, que a menudo se usa en las cámaras de todos los días para bloquear las señales de luz normalmente no deseadas en las imágenes. Luego agregaron un filtro que solo permitía el paso de la luz infrarroja, junto con un anillo de varios LED baratos de infrarrojo cercano. Al hacerlo, esencialmente hicieron que cada cámara actuara como una cámara infrarroja.

Sobre la cara: Con algunas modificaciones, los investigadores de Microsoft pueden usar cámaras regulares para mapear la profundidad de manos y caras.

Como que dimos la vuelta a la cámara, señala Izadi.

El equipo de Microsoft dice que quería usar la intensidad reflectante de la luz infrarroja como algo así como un cruce entre una señal de sonar y una antorcha en una habitación oscura. La luz rebotaría en el objeto cercano y regresaría al sensor con la intensidad correspondiente. Los objetos son brillantes cuando están cerca y tenues cuando están lejos, intuitivos para nosotros cuando se trata de luz visible. Pero el grupo necesitaba entrenar a las máquinas (en este caso, un teléfono inteligente Samsung Galaxy Nexus y una cámara web Microsoft LifeCam) en esa relación, para que la cámara pudiera determinar si estaba viendo, digamos, una mano grande en la distancia o una pequeña. mano de cerca.

Para este proyecto, los investigadores decidieron centrarse en un solo desafío: modelar manos y rostros humanos, no todo tipo de objetos y entornos. Después de construir un conjunto de datos de entrenamiento, que incluían imágenes de manos, el grupo descubrió que podía medir los movimientos de una persona a una velocidad de 220 cuadros por segundo. en un demostración el grupo mostró cómo ese seguimiento podría usarse para navegar por un mapa, como hacer movimientos de agarre o separar las manos, o para jugar un juego simple, como cortar virtualmente un plátano volador en el aire.

Mano de entrenamiento: Una mano capturada por una cámara modificada que funciona como una cámara de profundidad (izquierda) es utilizada por el algoritmo de aprendizaje automático de los investigadores de Microsoft para producir una estimación de su profundidad (derecha).

Si bien los datos de entrenamiento se centraron en rostros y manos, el grupo en realidad no estaba entrenando a las máquinas para reconocer manos o rostros, como nosotros pensaríamos en ellos, sino solo las propiedades del reflejo de la piel. La gran cantidad de datos de entrenamiento permite que la máquina construya suficientes asociaciones con los puntos de datos en las imágenes que luego puede usar propiedades adicionales de la imagen para estimar la profundidad. Microsoft eligió la máscara porque tiene muchas implicaciones para navegar en los entornos de Xbox y Windows, pero Kohli señala que las técnicas de aprendizaje automático podrían transferirse a cualquier lugar.

La única limitación es qué tipo de datos de entrenamiento le das, dice. El enfoque en sí mismo se puede adaptar para trabajar en cualquier otro escenario.

esconder