211service.com
El software inspirado en el cerebro de Google describe lo que ve en imágenes complejas
Los investigadores de Google han creado software que puede usar oraciones completas para describir con precisión las escenas que se muestran en las fotos, un avance significativo en el campo de la visión por computadora. Cuando se le mostró una foto de un juego de Ultimate Frisbee, por ejemplo, el software respondió con la descripción Un grupo de jóvenes jugando un juego de Frisbee. El software incluso puede contar, dando respuestas como Dos pizzas sentadas encima de un horno de estufa.
El software experimental de Google puede describir con precisión escenas en fotos, como las dos de la izquierda. Pero todavía comete errores, como se ve en las dos fotos de la derecha.
Anteriormente, la mayoría de los esfuerzos para crear software que comprenda imágenes se han centrado en la tarea más sencilla de identificar objetos individuales.
Es muy emocionante, dice Oriol Vinyals , científico investigador de Google. Estoy seguro de que van a surgir algunas aplicaciones potenciales de esto.
El nuevo software es el producto más reciente de la investigación de Google sobre el uso de grandes colecciones de neuronas simuladas para procesar datos (ver 10 Tecnologías innovadoras 2013: Aprendizaje profundo). Nadie en Google programó el nuevo software con reglas sobre cómo interpretar escenas. En cambio, sus redes aprendieron consumiendo datos. Aunque es solo un proyecto de investigación por ahora, dice Vinyals, él y otros en Google ya han comenzado a pensar en cómo podría usarse para mejorar la búsqueda de imágenes o ayudar a las personas con discapacidad visual a navegar en línea o en el mundo real.
Los investigadores de Google crearon el software a través de una especie de cirugía cerebral digital, conectando dos redes neuronales desarrolladas por separado para diferentes tareas. Una red había sido entrenada para procesar imágenes en una representación matemática de sus contenidos, en preparación para identificar objetos. El otro había sido entrenado para generar oraciones completas en inglés como parte de un software de traducción automática.
Cuando se combinan las redes, la primera puede mirar una imagen y luego alimentar la descripción matemática de lo que ve en la segunda, que usa esa información para generar una oración legible por humanos. La red combinada fue entrenada para generar descripciones más precisas mostrándole decenas de miles de imágenes con descripciones escritas por humanos. Estamos viendo a través del lenguaje lo que pensaba que era la imagen, dice Vinyals.
Después de ese proceso de capacitación, el software se soltó en varios grandes conjuntos de datos de imágenes de Flickr y otras fuentes y se le pidió que las describiera. Luego, se juzgó la precisión de sus descripciones con una prueba automatizada utilizada para comparar el software de visión por computadora. El software de Google publicó puntajes en los años 60 en una escala de 100 puntos. Los humanos que hacen la prueba suelen tener una puntuación de 70, dice Vinyals.
Ese resultado sugiere que Google está muy por delante de otros investigadores que trabajan para crear un software de descripción de escenas. investigadores de Stanford recientemente detalles publicados de su propio sistema e informó que obtuvo entre 40 y 50 en la misma prueba estándar.
Sin embargo, Vinyals señala que los investigadores de Google y de otros lugares aún se encuentran en las primeras etapas de comprensión de cómo crear y probar este tipo de software. Cuando Google pidió a los humanos que calificaran las descripciones de imágenes de su software en una escala del 1 al 4, obtuvo un promedio de solo 2,5, lo que sugiere que todavía tiene un largo camino por recorrer.
Vinyals predice que ahora se intensificará la investigación sobre la comprensión y descripción de escenas. Un problema que podría ralentizar las cosas: aunque se han creado grandes bases de datos de imágenes etiquetadas a mano para entrenar software para que reconozca objetos individuales, hay menos fotos etiquetadas de escenas más naturales.
Microsoft lanzó este año una base de datos llamada COCO para tratar de arreglar eso. Google usó COCO en su nueva investigación, pero todavía es relativamente pequeño. Espero que otras partes contribuyan y lo mejoren, dice Vinyals.