Cómo funciona la realidad aumentada de Magic Leap

Una startup de Florida llamada Salto mágico anunció el martes que había recibió $ 542 millones en la financiación de los principales inversores de Silicon Valley liderados por Google para desarrollar hardware para un nuevo tipo de hardware de realidad aumentada. La puesta en marcha secreta aún tiene que describir o demostrar públicamente su tecnología, y rechazó una solicitud de entrevista. Pero las solicitudes de patentes y marcas registradas revelan el tipo de tecnología que Magic Leap planea usar para crear lo que el CEO y fundador de la compañía, Rony Abovitz. ha llamado la interfaz informática portátil más natural y amigable para los humanos del mundo.





A presentación de patentes de la startup Magic Leap describe una pantalla portátil que presenta imágenes tridimensionales realistas, impulsada por una computadora que se lleva en la cadera.

Las presentaciones describen una tecnología de visualización sofisticada que puede engañar al sistema visual humano mejor que las pantallas de realidad virtual existentes (como Oculus Rift) para que perciba los objetos virtuales como reales. La tecnología de visualización utilizada en la mayoría de los dispositivos solo puede mostrar imágenes bidimensionales planas. Los auriculares como Oculus Rift engañan a tu cerebro para que perciba la profundidad al mostrar imágenes diferentes a cada ojo, pero tus ojos siempre están enfocados en la pantalla plana justo en frente de ellos.

Cuando observa una escena tridimensional real, la profundidad a la que se enfocan sus ojos cambia a medida que mira objetos a diferentes distancias. Si omitimos esas señales de enfoque, obtenemos una experiencia que no es del todo realista, dice gordon wetzstein , que dirige el Grupo de Investigación de Imagen Computacional de la Universidad de Stanford.

Las patentes de Magic Leap sugieren un enfoque alternativo. Describen pantallas que pueden crear el mismo tipo de patrones tridimensionales de rayos de luz, conocidos como campos de luz, que nuestros ojos captan de los objetos reales que nos rodean. Wetzstein y otros investigadores han demostrado que esto permite que sus ojos se concentren en las profundidades de una escena tridimensional artificial tal como lo harían en el mundo real, proporcionando una ilusión mucho más realista de objetos virtuales fusionados con el mundo real.

A principios de este año, Wetzstein y sus colegas utilizaron esa técnica para crear una pantalla que permite que el texto sea leído con claridad por personas que no usan sus lentes correctivos habituales (ver Prototype Display Lets You Say Goodbye to Reading Glasses). Anteriormente trabajó en pantallas 3D sin gafas basado en métodos similares. Y el año pasado, los investigadores de la empresa de chips Nvidia demostraron una pantalla portátil básica basado en campos de luz.

A registro de marca registrada de julio describe la tecnología de Magic Leap como hardware de computadora portátil, es decir, un sistema de visualización óptica que incorpora una pantalla dinámica de campo de luz.

Uno de Magic Leap patentes describe cómo funcionaría un dispositivo de este tipo, denominado WRAP, para proyector de conjunto de reflectores de guía de ondas. La exhibición estaría compuesta por una serie de muchos pequeños espejos curvos; la luz se entregaría a esa matriz a través de fibra óptica, y cada uno de los diminutos elementos reflejaría parte de esa luz para crear el campo de luz para un punto particular en el espacio tridimensional. La matriz podría ser semitransparente para permitir que una persona vea el mundo real al mismo tiempo.

Múltiples capas de estos diminutos espejos permitirían que la pantalla produjera la ilusión de objetos virtuales a diferentes distancias. Sin embargo, la patente de Magic Leap también afirma que una sola capa de espejos sería suficiente si se formaran a partir de líquido magnético. Eso permitiría reprogramar los espejos usando un campo magnético para mostrar rápidamente puntos a diferentes profundidades lo suficientemente rápido como para engañar al ojo, como los cuadros de una animación.

El mayor desafío de Magic Leap puede ser encontrar una manera de integrar a la perfección los objetos virtuales en 3D creados por esa pantalla con lo que una persona ve en el mundo real. Hacerlo requeriría que el sistema sintiera el mundo en 3-D y entendiera exactamente lo que está mirando una persona y su posición exacta, dice Wetzstein.

Una de las patentes de Magic Leap cubre el uso de sensores de movimiento y cámaras de seguimiento ocular en una pantalla portátil para averiguar a qué profundidad se enfocan los ojos de una persona. Pero Wetzstein dice que no conoce a nadie que aún esté demostrando un sistema portátil que pueda rastrear la distancia en la que se enfoca una persona.

Otra de las solicitudes de patentes de Magic Leap dice que las cámaras, los sensores infrarrojos y los sensores ultrasónicos podría usarse para sentir el entorno que rodea a una persona y para reconocer gestos. Las cámaras con sensor de profundidad ahora son relativamente baratas y compactas (consulte Intel dice que pronto llegarán tabletas y computadoras portátiles con visión 3-D). Pero Wetzstein dice que Magic Leap probablemente necesitará hacer grandes avances en el software de visión por computadora para un dispositivo portátil para dar sentido al mundo lo suficiente como para una realidad aumentada muy rica. Requerirán un reconocimiento de imágenes en 3D muy potente, que se ejecutará en la pantalla montada en la cabeza, dice.

La empresa está reclutando expertos en diseño de chips y fabricación , aparentemente con miras a crear chips personalizados para procesar datos de imagen. Los chips dedicados podrían hacer que ese trabajo sea más eficiente energéticamente, algo importante para un dispositivo portátil. Magic Leap ya emplea gary bradski , un pionero de la investigación y el software de visión por computadora, señala Wetzstein. Magic Leap también está tratando de reclutar personas capacitadas en láseres , móvil y inalámbrico electrónica, cámaras, gestión de la cadena de suministro de fabricación, detección 3-D , inteligencia artificial , y desarrollo de videojuegos .

En conjunto, se han demostrado muchas de las técnicas subyacentes que Magic Leap necesita para realizar una realidad aumentada altamente realista, dice Wetzstein. Pero la compañía tendrá que refinarlos y combinarlos de formas que nadie ha logrado aún. Creo que la gente está empezando a darse cuenta de que este es el futuro de la construcción de dispositivos de consumo, dice. Pero implica grandes desafíos en la intersección de la óptica, la electrónica, los algoritmos y la comprensión del sistema visual humano.

esconder