El nuevo juguete brillante de Microsoft

En la conferencia de Tecnología, Entretenimiento, Diseño (TED) de marzo pasado en Monterey, CA, una cumbre que ha sido descrita como Davos para los digerati, el arquitecto de software de voz tranquila de Microsoft comenzó su demostración abruptamente, navegando rápidamente a través de un mar de imágenes mostradas en una gran pantalla. Usando Seadragon, una tecnología que permite una exploración fluida y rápida de grandes conjuntos de datos de texto e imágenes, se sumergió sin esfuerzo en un mapa de 300 megapíxeles, acercándose para revelar un sello de fecha de la Biblioteca del Congreso en una esquina. Luego se volvió hacia una imagen que parecía un código de barras, pero que en realidad era el texto completo de Charles Dickens. Casa sombría , acercándose hasta que dos caracteres tipográficos de bordes nítidos llenaron la pantalla, antes de retroceder alegremente hasta la colcha gigante de texto e imágenes.

Estás aquí: Photosynth, una aplicación en desarrollo en los Live Labs de Microsoft, ofrece una forma inmersiva de ver fotos de una cosa o un lugar determinados. El software aún no se ha lanzado, pero Microsoft lo está demostrando en línea con colecciones de fotos como esta de la Plaza de San Marcos de Venecia.

Microsoft había adquirido Seadragon el año anterior y, con él, el presentador Blaise Agüera y Arcas. Pero Agüera y Arcas no había venido a TED solo para lucirse Seadragon. Pronto cortó a un panorama en mosaico de fotos de las Montañas Rocosas canadienses; el mosaico se movió mientras lo recorría, revelando una espectacular línea de cresta. Luego vino una vista aérea de lo que parecía ser un modelo de un edificio familiar: la Catedral de Notre Dame. El modelo, explicó Agüera y Arcas, se había ensamblado a partir de cientos de imágenes separadas recopiladas de Flickr. Era una nube de puntos, un conjunto de puntos en un espacio tridimensional.

Esta historia fue parte de nuestro número de marzo de 2008

• Ver el resto del número
• Suscribir

Mientras hablaba, Agüera y Arcas navegaba burlonamente por la periferia de Notre Dame, que repetidamente cobró vida y volvió a atenuarse. El efecto de atravesar imágenes cambiantes y puntos focales se suavizó con sutiles efectos de transición. Se sentía como un carrete deliberadamente lento de animación cuadro por cuadro; el efecto fue estremecedor. La multitud observó con asombro cómo Agüera y Arcas se adentraba más en la vista frontal del arco del edificio, terminando con un primer plano apretado de una gárgola. Algunas de las imágenes en las que se había basado la tecnología ni siquiera eran estrictamente fotográficas: había buscado en Flickr todas las imágenes relevantes, incluido un póster de la catedral. Lo que estaba demostrando Agüera y Arcas no era un video, pero tampoco una mera colección de fotos, ni siquiera una gigantesca. También era como un mapa, pero inmersivo animado por la lógica onírica de formas borrosas y perspectivas cambiantes.

Se trataba de Photosynth, una tecnología que analiza imágenes relacionadas y las vincula para recrear entornos físicos en un espacio virtual deslumbrante. La tecnología crea un metaverso, dijo Agüera y Arcas (para más información sobre la combinación naciente de tecnologías de mapeo como Google Earth y los reinos fantásticos de juegos como Second Life, vea Second Earth, julio / agosto de 2007); pero también constituye la larga cola de Virtual Earth, el competidor de Microsoft de Google Earth, debido a su capacidad para aprovechar y contribuir a la gran cantidad de datos de imágenes y mapas locales disponibles en línea. Podría proporcionar modelos virtuales inmensamente ricos de cada parte interesante de la tierra, dijo, recopilados no solo de vuelos aéreos y de imágenes de satélite, etc., sino también de la memoria colectiva. En ese momento, la presentación terminó tan abruptamente como había comenzado unos seis minutos antes. La declaración final de Agüera y Arcas fue recibida con un estruendo de aplausos.

Multimedia

• Vea imágenes de Photosynth y vea cómo funciona.

• Mire fotos de puntada Photosynth juntos.

Más allá de la costura de imágenes
Photosynth nació de lo que Agüera y Arcas llama la unión de Seadragon y Photo Tourism, un proyecto de Microsoft destinado a revolucionar la forma en que se empaquetan y exhiben los sets de fotos. El turismo fotográfico había comenzado como la tesis doctoral de un entusiasta estudiante de posgrado de la Universidad de Washington de 26 años llamado Noah Snavely. Uno de los asesores de Snavely fue Rick Szeliski, investigador de visión por computadora en Microsoft Research, el brazo de I + D de la empresa. Describí la necesidad de los buenos elementos de una presentación de diapositivas sólida, como una gran composición, recuerda Szeliski, cuyo trabajo anterior en Microsoft había ayudado a desarrollar la tecnología de unión de imágenes que ahora se usa comúnmente en las cámaras digitales para llenar un marco más ancho o más alto. También buscó la fluidez entre las imágenes y una sensación de interactividad al verlas.

Trabajando con Szeliski y un profesor de la Universidad de Washington llamado Steve Seitz, Snavely tenía la intención de codificar un camino a seguir a través de un desafío computacionalmente prohibitivo: cómo hacer que las fotos se fusionen, sobre la base de sus similitudes, en un modelo físico 3-D que los humanos los ojos podían reconocer como parte de un paisaje auténtico del mundo real. Además, el modelo debe ser uno que los usuarios puedan navegar y experimentar espacialmente. El software de costura de fotos existente utilizado en dispositivos electrónicos como cámaras digitales sabía cómo inferir relaciones entre imágenes a partir de la secuencia en la que se habían tomado. Pero Snavely estaba tratando de desarrollar un software capaz de realizar tales evaluaciones de una manera totalmente diferente. Ideó un proceso de dos pasos: en el primer paso, identificamos puntos destacados en todas las imágenes bidimensionales, dice. Luego intentamos averiguar qué puntos en diferentes imágenes corresponden al mismo punto en 3-D.

El proceso, dice Snavely, se llama 'estructura a partir del movimiento'. Básicamente, una cámara en movimiento puede inferir una estructura tridimensional. Es la misma idea que cuando mueves la cabeza hacia adelante y hacia atrás y puedes tener una mejor idea de la estructura tridimensional de lo que estás mirando. Intente cerrar un ojo y mover la cabeza de un lado a otro: verá que diferentes puntos a diferentes distancias se moverán de manera diferente. Esta es la idea básica detrás de la estructura del movimiento.

La visión por ordenador, como explica Agüera y Arcas, se beneficia de una simple garantía: todos los datos espaciales son cuantificables. Cada punto en el espacio tiene solo tres grados de libertad: x, y y z, dice.

Los atributos compartidos por ciertas fotos, agrega, ayudan a marcarlas como similares: un adoquín de forma distintiva, por ejemplo, puede aparecer repetidamente. Cuando el software reconoce semejanzas (la piedra de esta foto también aparece en esa), sabe buscar más semejanzas. El proceso de agrupar imágenes sobre la base de elementos visuales coincidentes cobra fuerza hasta que se puede recrear un camino completo a partir de esos adoquines. Cuantas más imágenes comience con el sistema, más realista será el resultado, especialmente si las imágenes originales se tomaron desde una variedad de ángulos y perspectivas.

Eso es porque el segundo ejercicio computacional, dice Snavely, es comparar imágenes en las que las características compartidas se representan desde diferentes ángulos. Resulta que el primer proceso ayuda al segundo, dándonos información sobre dónde deben estar las cámaras. Podemos recuperar el punto de vista desde el que se tomó cada foto, y cuando el usuario selecciona una foto, se lo lleva a ese punto de vista. Al colocar un punto de vista para cada imagen, calculando dónde debe haber estado la cámara cuando se tomó la imagen, el software puede imitar la forma en que funciona la visión binocular, produciendo un efecto 3-D.

Sin embargo, como sabía Szeliski, el ojo humano es el más voluble de los críticos. De modo que él y sus dos colegas buscaron hacer algo más que unir partes más pequeñas en un todo más grande; también trabajaron en efectos de transición destinados a permitir que las imágenes se unan de la manera más fluida posible. Las técnicas que refinaron incluyen disuelve, o desvanece, el método característico por el cual los editores de películas y videos combinan imágenes.

En una demostración que mostró la Fontana di Trevi en Italia, el turismo fotográfico logró una versión rudimentaria y rígida de lo que produciría Photosynth: una nube de puntos ensamblada a partir de imágenes que representan diferentes perspectivas en un solo lugar. Más impresionante fue la capacidad del software para recorrer bancos de imágenes descargadas de Flickr basadas en etiquetas descriptivas, fotos que, por supuesto, no se habían tomado con el propósito de producir un modelo. El resultado, recuerda Szeliski, fue sorprendente y fresco incluso a los ojos de sus veteranos.

Lo que teníamos era una nueva forma de visualizar una colección de fotos, una presentación de diapositivas interactiva, dice Szeliski. Creo que el turismo fotográfico sorprendió por diferentes razones para los de dentro y para los de fuera. Los de adentro estaban desconcertados por la irresistible facilidad de la experiencia. Los forasteros, dice, apenas podían creer que fuera posible.

Y, sin embargo, la aplicación Foto Turismo tenía un futuro incierto. Aunque fue una revelación técnica, desarrollada en Linux y capaz de ejecutarse en Windows, todavía era en gran medida un prototipo, y la hoja de ruta para desarrollarlo aún más no estaba clara.

En la primavera de 2006, mientras Snavely presentaba el turismo fotográfico en un taller interno de Microsoft, Blaise Agüera y Arcas, que entonces era un nuevo empleado, se acercó y se dio cuenta. Había llegado recientemente gracias a la adquisición de su empresa, Seadragon, que desarrolló una aplicación de software que describe como un administrador de memoria virtual 3-D para imágenes. El atractivo de Seadragon radica en su capacidad para permitir que los usuarios carguen, naveguen y manipulen cantidades sin precedentes de información visual, y su gran logro técnico fue su capacidad para hacerlo a través de una red. (La capacidad de Photosynth para trabajar con imágenes de Flickr y similares, sin embargo, proviene de la tecnología que se originó con el turismo fotográfico).

Agüera y Arcas y Snavely empezaron a hablar ese día. Para el verano de 2006, se estaban presentando demostraciones. El producto híbrido resultante, parte de turismo fotográfico y parte de Seadragon, agrega un gran grupo de imágenes similares (ya sean fotos o ilustraciones), entretejiéndolas en un modelo visual en 3-D de su tema del mundo real. Incluso da tridimensionalidad a las áreas donde se juntan las fotos en 2-D. Cada imagen individual se reproduce con perfecta fidelidad, pero en las transiciones entre ellas, Photosynth llena los vacíos de percepción que de otro modo evitarían que una colección de fotos se sienta como parte de una imagen de perspectiva más amplia. Y además de ser un análogo visual de una escena de la vida real, el modelo sintetizado es totalmente navegable. Como explica Snavely, el modo de navegación dominante es elegir la siguiente foto para visitar, haciendo clic en los controles, y el sistema mueve automáticamente el punto de vista en 3-D a esa nueva ubicación. Un ojo errante es una buena metáfora para esto. El software recrea el sujeto fotografiado como un lugar para ser apreciado desde todos los ángulos documentados.

El sorprendente logro técnico de Photosynth es como sacar un conejo de un sombrero: produce una interfaz 3D realista a partir del medio 2-D de la fotografía. Esto es algo de la nada, dice Alexei A. Efros, profesor de Carnegie Mellon que se especializa en visión por computadora. El secreto, explica Efros, es la cantidad de fotografías. A medida que obtiene más y más datos visuales, la cantidad se convierte en calidad, dice. Y a medida que obtienes cantidades asombrosas de datos, comienzan a decirte cosas que no sabías antes. Gracias al reconocimiento de patrones, la indexación y los metadatos mejorados, las máquinas pueden inferir la tridimensionalidad. Antes de lo que esperamos, dice Efros, la visión será el sensor principal para las máquinas, tal como lo es ahora para los humanos.

Microsoft está demostrando Photosynth en línea con colecciones de fotos como esta de la Plaza de San Marcos de Venecia. Las tomas de esta colección fueron tomadas por un solo fotógrafo durante 10 días.
Crédito: Cortesía de Microsoft Live Labs

En lo que podría convertirse
El trabajo de Microsoft en Photosynth ejemplifica la estrategia de la empresa para los Live Labs de 100 personas. En parte, las obras de skunk basadas en la web, en parte como un campo de reclutamiento para cabezas de hélice para quienes la empresa matriz no es una buena opción, Live Labs apunta en parte a desafiar lo que la gente piensa que es Microsoft, dice Gary Flake, de 40 años. compañero técnico que es el fundador y director del laboratorio. Su objetivo más inmediato es llevar las tecnologías web al mercado.

El discurso de Flake sobre la cultura de Live Labs es enérgico, ya que habla de sus esfuerzos por unir la ciencia de la investigación y la ingeniería de productos. Flake, quien ha trabajado para numerosas organizaciones de investigación, incluido el NEC Research Institute y Yahoo Research Labs, que fundó y también dirigió, describe esto como un desafío para toda la industria. En Live Labs, tenemos una cartera de cobertura deliberada, explica. Tenemos una mezcla muy interesante, que abarca 40 proyectos diferentes.

Flake no está dispuesto a discutir muchos de sus proyectos en detalle, pero está lleno de entusiasmo por su mandato de aportar más ADN en forma de talento en bruto. Queremos crear y mejorar el estado de los productos y servicios de Internet, dice, pero también habla apasionadamente sobre los empleados de Live Labs como piedras de Rosetta humanas que pueden servir como traductores en un mundo de I + D donde los ingenieros y científicos a menudo, en efecto, hablan de manera diferente. Idiomas.

El proyecto Photosynth, dice Flake, personifica el tipo de éxito que quiere promover a través de sus esfuerzos por superar la división tradicional entre la ciencia y la ingeniería de productos. Representa un importante avance del estado de la técnica.

Actualmente, Photosynth solo se puede ver en una demostración en línea, pero el equipo de Agüera y Arcas espera lanzarlo antes de fin de año. Queda por ver lo que alguien que lo adquiera pueda hacer con él. Las nubes de puntos se pueden hacer a partir de tan solo dos o tres imágenes, por lo que uno puede imaginar a los usuarios creando sintetizadores relativamente poco sofisticados de su propia fotografía, por ejemplo, de un viaje familiar al Monte Rushmore. (Por supuesto, las personas que tienen Photosynth pueden comenzar a tomar muchas más imágenes de un lugar determinado, con el interés de poder hacer un sintetizador rico más adelante). Pero también podría ser que los usuarios accedan a bibliotecas de fotos en línea, lo que probablemente tendrá que descargarse a una computadora local para crear sus propios sintetizadores de sitios muy fotografiados.

Aún así, Photosynth es prometedor con pocas pruebas. Abundan las preguntas técnicas sobre qué tan fácil será de usar y cuáles serán, exactamente, sus capacidades. Además, a pesar de los orígenes del turismo fotográfico en Linux, Photosynth seguirá siendo Windows solo en el futuro previsible.

Y a pesar del atractivo inmediato de Photosynth, sus aplicaciones tampoco están claras. El mundo no necesita otro navegador de imágenes, ni siquiera uno innovador. Parece aún más improbable que los usuarios paguen por Photosynth en su forma actual. Mientras tanto, la suerte de Photosynth dependerá de si puede construir una comunidad de usuarios de base amplia. ¿Adquirirá nuevos usos para quienes lo adopten, como lo ha hecho Google Earth? Más importante aún, ¿Microsoft lanzará un producto final lo suficientemente abierto como para que dicha comunidad pueda buscar usos diferentes de los inicialmente previstos?

Flake informa que el equipo de Photosynth ha conjurado docenas de usos potenciales, dos de los cuales parecen especialmente probables.

Una es integrarlo más completamente con Microsoft Virtual Earth, convirtiéndolo en la herramienta que lleva a los usuarios al siguiente paso en zoom profundo. Con Virtual Earth manejando la topografía y la fotografía aérea mientras Photosynth coordina una gran cantidad de material fotográfico terrestre, las dos aplicaciones podrían dar lugar a una especie de metaverso ligero, para usar el término que Agüera y Arcas invocaba en TED.

Al señalar la facilidad de Photosynth con edificios y plazas de la ciudad, Seitz también prevé una ampliación a gran escala. Nos gustaría capturar ciudades enteras, dice. De hecho, Agüera y Arcas y Stephen Lawler, gerente general del proyecto Virtual Earth de Microsoft, anunciaron en agosto de 2007 en Las Vegas, en la convención anual de hackers Defcon, que están planeando una asociación. Una vez que se superan algunos obstáculos técnicos relativamente menores, dice Seitz, no hay nada que nos impida modelar ciudades.

A medida que las personas crean y almacenan cantidades cada vez mayores de medios digitales, Photosynth incluso podría permitir a los usuarios transmitir en vivo sus álbumes de fotos familiares. Imagínese si pudiera ver a sus hijos crecer en su propia casa, dice Flake, solo de su colección de fotos.

A medida que estas ideas se filtran, el equipo de Photosynth apenas se queda quieto. El verano pasado, los investigadores lanzaron una colaboración de demostración en línea con la NASA, y ahora están trabajando con el Jet Propulsion Lab para sintetizar una pequeña parte de la superficie de Marte.

Uno se pregunta hasta dónde está dispuesto Microsoft a financiar este tipo de geek-out. Por otra parte, como preguntan retóricamente Agüera y Arcas y Flake, ¿cómo se valora este tipo de logro técnico? Porque si bien Photosynth parece carecer de un camino claro hacia el mercado, también parece carecer por completo de competencia.

Jeffrey MacIntyre es un periodista independiente que escribe extensamente sobre cultura, ciencia y tecnología.

esconder