Google presenta una red neuronal con capacidad sobrehumana para determinar la ubicación de casi cualquier imagen

Aquí hay una tarea difícil. Elige una fotografía de la Web al azar. Ahora intente averiguar dónde se tomó usando solo la imagen en sí. Si la imagen muestra un edificio o punto de referencia famoso, como la Torre Eiffel o las Cataratas del Niágara, la tarea es sencilla. Pero el trabajo se vuelve significativamente más difícil cuando la imagen carece de indicaciones de ubicación específicas o se toma en interiores o muestra una mascota, comida o algún otro detalle.

Sin embargo, los humanos son sorprendentemente buenos en esta tarea. Para ayudar, aportan todo tipo de conocimientos sobre el mundo, como el tipo y el idioma de los signos que se exhiben, los tipos de vegetación, los estilos arquitectónicos, la dirección del tráfico, etc. Los humanos pasan toda su vida recogiendo este tipo de señales de geolocalización.

Por lo tanto, es fácil pensar que las máquinas tendrían dificultades con esta tarea. Y de hecho, lo han hecho.

Hoy, eso cambia gracias al trabajo de Tobias Weyand, un especialista en visión artificial de Google, y un par de amigos. Estos muchachos han entrenado una máquina de aprendizaje profundo para determinar la ubicación de casi cualquier foto usando solo los píxeles que contiene.

Su nueva máquina supera significativamente a los humanos e incluso puede usar un ingenioso truco para determinar la ubicación de imágenes de interiores e imágenes de cosas específicas, como mascotas, comida, etc., que no tienen pistas de ubicación.

Su enfoque es sencillo, al menos en el mundo del aprendizaje automático. Weyand y compañía comienzan dividiendo el mundo en una cuadrícula que consta de más de 26 000 cuadrados de diferentes tamaños que dependen de la cantidad de imágenes tomadas en ese lugar.

Así que las grandes ciudades, que son el tema de muchas imágenes, tienen una estructura de cuadrícula más fina que las regiones más remotas donde las fotografías son menos comunes. De hecho, el equipo de Google ignoró áreas como los océanos y las regiones polares, donde se han tomado pocas fotografías.

A continuación, el equipo creó una base de datos de imágenes geolocalizadas de la Web y utilizó los datos de ubicación para determinar el cuadrado de la cuadrícula en el que se tomó cada imagen. Este conjunto de datos es enorme y consta de 126 millones de imágenes junto con los datos de ubicación Exif que las acompañan.

Weyand y compañía utilizaron 91 millones de estas imágenes para enseñar a una poderosa red neuronal a determinar la ubicación de la cuadrícula utilizando solo la imagen en sí. Su idea es ingresar una imagen en esta red neuronal y obtener como resultado una ubicación de cuadrícula particular o un conjunto de posibles candidatos.

Luego validaron la red neuronal utilizando los 34 millones de imágenes restantes en el conjunto de datos. Finalmente, probaron la red, a la que llaman PlaNet, de varias maneras diferentes para ver qué tan bien funciona.

Los resultados hacen una lectura interesante. Para medir la precisión de su máquina, le enviaron 2,3 millones de imágenes geoetiquetadas de Flickr para ver si podía determinar correctamente su ubicación. PlaNet es capaz de localizar el 3,6 por ciento de las imágenes con precisión a nivel de calle y el 10,1 por ciento con precisión a nivel de ciudad, dicen Weyand y compañía. Además, la máquina determina el país de origen en otro 28,4 por ciento de las fotos y el continente en el 48,0 por ciento de ellas.

Eso es bastante bueno. Pero para mostrar cuán bueno, Weyand y compañía pusieron a PlaNet a prueba en una prueba contra 10 humanos experimentados. Para la prueba, utilizaron un juego en línea que le presenta a un jugador una vista aleatoria tomada de Google Street View y le pide que señale su ubicación en un mapa del mundo.

Cualquiera puede jugar en www.geoguessr.com . Pruébelo, es muy divertido y más complicado de lo que parece.

No hace falta decir que PlaNet derrotó a los humanos. En total, PlaNet ganó 28 de las 50 rondas con un error de localización medio de 1131,7 km, mientras que el error de localización humano medio fue de 2320,75 km, dicen Weyand y compañía. [Este] experimento a pequeña escala muestra que PlaNet alcanza un rendimiento sobrehumano en la tarea de geolocalizar escenas de Street View.

Una pregunta interesante es cómo PlaNet funciona tan bien sin poder usar las señales en las que confían los humanos, como la vegetación, el estilo arquitectónico, etc. Pero Weyand y compañía dicen que saben por qué: 'Creemos que PlaNet tiene una ventaja sobre los humanos porque ha visto muchos más lugares de los que cualquier humano puede visitar y ha aprendido pistas sutiles de diferentes escenas que son incluso difíciles para un humano que ha viajado mucho'. distinguir.

Van más allá y usan la máquina para ubicar imágenes que no tienen pistas de ubicación, como las tomadas en interiores o de artículos específicos. Esto es posible cuando las imágenes forman parte de álbumes que se han tomado todas en el mismo lugar. La máquina simplemente busca en otras imágenes del álbum para determinar dónde fueron tomadas y asume que la imagen más específica fue tomada en el mismo lugar.

Es un trabajo impresionante que muestra redes neuronales profundas flexionando sus músculos una vez más. Quizás lo más impresionante aún es que el modelo usa una cantidad de memoria relativamente pequeña a diferencia de otros enfoques que usan gigabytes del material. Nuestro modelo usa solo 377 MB, lo que incluso cabe en la memoria de un teléfono inteligente, dicen Weyand y compañía.

Esa es una idea tentadora: el poder de una red neuronal sobrehumana en un teléfono inteligente. ¡Seguramente no pasará mucho tiempo ahora!

Ref: arxiv.org/abs/1602.05314 : PlaNet—Geolocalización de fotos con redes neuronales convolucionales

esconder