La máquina de aprendizaje profundo de Google aprende a sintetizar imágenes del mundo real

Google Street View ofrece vistas panorámicas de más o menos cualquier calle de la ciudad en gran parte del mundo desarrollado, así como vistas a lo largo de innumerables senderos, dentro de centros comerciales y alrededor de museos y galerías de arte. Es una hazaña extraordinaria de la ingeniería moderna que está cambiando la forma en que pensamos sobre el mundo que nos rodea.

Pero mientras Street View puede mostrarnos cómo son los lugares distantes, no muestra cómo sería el proceso de viajar o explorar. Es fácil encontrar una solución: simplemente reproduzca una secuencia de imágenes de Street View una tras otra para crear una película.

Pero eso no funciona tan bien como podrías imaginar. Ejecutar estas imágenes a 25 fotogramas por segundo o más o menos hace que el escenario se ejecute ridículamente rápido. Eso puede ser aceptable cuando el paisaje no cambia, tal vez a lo largo de autopistas y autopistas o a través de paisajes inmutables. Pero es totalmente inaceptable para vistas de calles concurridas o dentro de una galería de arte.

Así que a Google se le ha ocurrido una solución: añadir fotogramas adicionales entre los grabados por las cámaras de Street View. Pero, ¿cómo deberían ser estos marcos?

Hoy, John Flynn y sus colegas de Google revelan cómo han utilizado los amplios conocimientos de aprendizaje automático de la empresa para determinar cómo deberían verse estos marcos que faltan, simplemente estudiando los marcos de cada lado. El resultado es una máquina de película computacional que puede convertir más o menos cualquier secuencia de imágenes en una película fluida mediante la interpolación de los fotogramas que faltan.

El desafío que Flynn y compañía se propusieron es sencillo. Dado un conjunto de imágenes de un lugar en particular, el objetivo es sintetizar una nueva imagen de la misma área desde un ángulo de visión diferente.

Eso no es fácil. Una solución exacta requeriría un conocimiento tridimensional completo de toda la geometría visible en la vista invisible que, en general, no está disponible debido a los oclusores, dicen Flynn y compañía.

De hecho, es un problema por el que los científicos informáticos se han estado rascando la cabeza durante décadas y que está estrechamente relacionado con el problema de estimar la forma tridimensional de una escena dadas dos o más imágenes de ella.

Los científicos informáticos han desarrollado varias formas de resolver este problema, pero todas sufren problemas similares, especialmente cuando falta información debido a que un objeto ocluye a otro. Esto conduce al desgarro, donde no hay suficiente información, y a la desaparición de detalles finos. Un desafío particular son los objetos que contienen detalles finos y también se autoocluyen, como los árboles.

El nuevo enfoque de Flynn y compañía es entrenar un algoritmo de visión artificial para determinar cómo debería verse la nueva imagen después de haber sido entrenada en un vasto conjunto de datos de imágenes secuenciales.

La tarea de la computadora es tratar cada imagen como un conjunto de píxeles y determinar la profundidad y el color de cada píxel dada la profundidad y el color de los píxeles correspondientes en las imágenes que aparecerán antes y después en la película.

Entrenaron su algoritmo, llamado DeepStereo, utilizando imágenes de escenas callejeras capturadas por un vehículo en movimiento. De hecho, utilizan 100.000 de estas secuencias como conjunto de datos de entrenamiento.

Luego lo probaron eliminando un cuadro de una secuencia de imágenes de Street View y pidiéndole que lo reprodujera mirando solo las otras imágenes de la secuencia. Finalmente, comparan la imagen sintetizada con la que se eliminó, dándoles una especie de estándar de oro para contrastarla.

Los resultados son impresionantes. En general, nuestro modelo produce resultados plausibles que son difíciles de distinguir inmediatamente de las imágenes originales, dicen Flynn y compañía.

Reproduce con éxito sujetos difíciles como árboles y césped. Y cuando falla, como ocurre con los reflejos especulares, lo hace con gracia en lugar de rasgarse.

En particular, maneja bien los objetos en movimiento. Aparecen borrosos de una manera que evoca el desenfoque de movimiento, dicen.

Sin embargo, el método no es perfecto. Los artefactos notables en nuestros resultados incluyen una ligera pérdida de resolución y la desaparición de estructuras de primer plano delgadas, dice el equipo de Google. Y los sujetos parcialmente ocluidos tienden a estar demasiado borrosos en la salida.

También es computacionalmente intensivo. Flynn y compañía dicen que se necesitan 12 minutos en una estación de trabajo multinúcleo para producir una sola imagen recién sintetizada. Por lo tanto, estas imágenes no se pueden producir sobre la marcha. Sin embargo, el equipo espera mejorar esto en el futuro mediante la optimización del proceso de generación de imágenes.

Es un trabajo impresionante que una vez más muestra el potencial de las técnicas de aprendizaje profundo. El equipo muestra sus resultados en el vídeo publicado aquí , que muestra películas creadas a partir de datos de Street View.

Pero también debería tener otras aplicaciones en la generación de contenidos para teleconferencias, realidad virtual y cinematografía. Incluso podría reducir la carga de trabajo de los animadores de cuadros detenidos.

De cualquier manera, espere ver películas de viajes de Google Street View inundando la Web en un futuro no muy lejano.

Ref: arxiv.org/abs/1506.06825 : DeepStereo: Aprendiendo a predecir nuevas vistas a partir de las imágenes del mundo

esconder