¿Es esta la primera imaginación computacional?

Imagine un roble en un campo de trigo, recortado contra un cielo azul sin nubes en una tarde soleada de ensueño. Lo más probable es que la mayoría de las personas que lean esta oración puedan imaginar fácilmente una escena bucólica en su mente. Esta capacidad de leer una descripción de una escena y luego imaginarla siempre ha sido exclusivamente humana. Pero es posible que esta valiosa habilidad ya no sea solo nuestra.

Cualquiera que piense que este tipo de imaginaciones están mucho más allá de la capacidad de las máquinas informáticas actuales se sorprenderá con el trabajo de Hiroharu Kato y Tatsuya Harada en la Universidad de Tokio en Japón.

Hoy, estos muchachos presentan una máquina que puede traducir la descripción de un objeto en una imagen. En otras palabras, su computadora puede conjurar una imagen de un objeto externo que de otro modo no estaría presente. Esa es una muy buena definición de imaginación, en este caso de la variedad computacional.

Sin duda, estas imaginaciones informáticas son simples, a veces confusas y, a menudo, sin sentido. Pero el hecho de que sean posibles representa un importante paso adelante para la creatividad computacional.

Los informáticos han luchado durante mucho tiempo para manejar las imágenes con la facilidad y el poder que manejan con las palabras. Es sencillo, por ejemplo, ingresar una palabra o secuencia de palabras en un motor de búsqueda y encontrar coincidencias que sean muy relevantes.

Esto no se debe a alguna habilidad informática especial para comprender palabras. Se produce meramente tratando las palabras estadísticamente, como contarlas de la bolsa. De hecho, las técnicas de bolsa de palabras como esta se han vuelto enormemente poderosas. Por el contrario, no existe una capacidad equivalente para las imágenes.

Entonces, hace unos años, los informáticos comenzaron a tratar las imágenes de la misma manera. Comenzaron pensando en una imagen como una serie de píxeles que dividen en secuencias cortas que corresponden a una parte específica de una imagen. Por ejemplo, una secuencia corta podría corresponder al borde de una taza o un área de piel o parte del cielo y así sucesivamente.

Estas secuencias cortas significan poco para los humanos, pero para una computadora pueden ser tratadas como palabras. Entonces, una computadora podría analizar una imagen contando el número de secuencias y la frecuencia con la que ocurren, del mismo modo que podría tratar un documento contando la frecuencia con la que aparecen las palabras. Una imagen del cielo tendría muchas secuencias que corresponden a partes del cielo. Y una imagen de una taza de té tendría muchas secuencias que corresponden al borde de una taza y así sucesivamente.

Eso permite comparar inmediatamente las imágenes. Una computadora puede buscar a través de una base de datos de imágenes analizadas de esta manera buscando patrones similares de secuencias en otras imágenes. La idea es que dos imágenes con distribuciones similares de secuencias se vean similares y, de hecho, los investigadores han tenido cierto éxito con esta técnica para encontrar coincidencias.

Por analogía con el texto, los informáticos llaman a estas secuencias palabras visuales. Y este nuevo enfoque para el análisis de imágenes se conoce como la técnica de la bolsa de palabras visuales. Analiza una imagen contando la distribución estadística de las palabras visuales que contiene.

La pregunta que abordan Kato y Harada es la opuesta a esta. Dada una distribución de palabras visuales, ¿cuál era la imagen original? Ese es un problema mucho más difícil porque, aunque una palabra visual describe parte de una imagen, no explica de qué parte de la imagen proviene o qué otras palabras visuales estaba cerca.

Este problema es similar a resolver un rompecabezas, dicen. Las palabras visuales son las piezas y el problema es decidir cómo encajarlas para formar una imagen.

Kato y Harada abordan este problema de dos maneras diferentes. El primero es evaluar cómo las palabras visuales individuales encajan sin problemas junto a otras palabras visuales. Por ejemplo, todas las palabras visuales que describen el borde de una taza se pueden unir para mostrar un borde continuo.

Esto no es sencillo porque las palabras visuales no tienen forma aparente y, por lo tanto, no encajan como las piezas de un rompecabezas. En cambio, Kato y Harada miden la relación entre palabras visuales en una gran base de datos de imágenes contando todos los pares que se encuentran uno al lado del otro. Eso produce una probabilidad de que un par de palabras visuales estén una al lado de la otra.

El segundo método consiste en evaluar la probabilidad de que una determinada palabra visual aparezca en una determinada parte de la imagen. Por ejemplo, es más probable que una palabra visual que muestre un área del cielo esté en la parte superior de una imagen.

Dado que las palabras visuales en sí mismas no contienen esta información, Kato y Harada nuevamente la miden en una gran base de datos de imágenes. Se presume que cada palabra visual tiene una preferencia de la posición absoluta en la que se colocará, dicen. Esta preferencia es el valor medido tomado de toda la base de datos.

Por supuesto, estos cálculos son computacionalmente costosos, según el tamaño de la base de datos y el tamaño de las palabras visuales.

Sin embargo, Kato y Harada han demostrado un éxito considerable con su enfoque. Crean una base de datos de 101 imágenes, cada una de las cuales muestra un tipo diferente de objetos. Cambiaron el tamaño de cada imagen a 128 x 128 píxeles y asumieron que cada imagen se compone de palabras visuales de 13 x 13 píxeles de tamaño y que las tres cuartas partes de cada palabra visual se superponen a la siguiente palabra visual.

Habiendo creado la base de datos que muestra la distribución estadística de las palabras visuales, luego usan esta información para intentar reconstruir una imagen usando solo las palabras visuales que aparecen en ella.

Los resultados son generalmente impresionantes. Si bien algunas de las imágenes generadas no tienen sentido, otras recrean con éxito una amplia gama de imágenes, por ejemplo, de un paraguas, una llave inglesa, un barril, un pez e incluso una cara (ver las imágenes y sus reconstrucciones arriba).

Eso es impresionante y conduce a una serie de aplicaciones interesantes. Kato y Harada lo usan para transformar una imagen en otra, por ejemplo. Toman la bolsa de palabras visuales que representa dos imágenes y luego generan bolsas intermedias de palabras visuales para crear las imágenes intermedias en la secuencia de transformación.

Más interesante es su trabajo sobre la visión artificial. Los informáticos han desarrollado recientemente potentes algoritmos automatizados de reconocimiento de objetos que identifican objetos específicos.

Estos algoritmos se conocen como clasificadores. Trabajan con gran precisión, pero a veces pueden ser engañados por objetos que parecen fáciles de identificar para el ojo humano. Así que exactamente lo que buscan no siempre está claro.

El trabajo de Kato y Harada cambia esto. Han utilizado su enfoque de bolsa de palabras visuales para visualizar estos clasificadores de objetos. Esto revela diferencias entre la visión humana y la visión por computadora, dicen.

Lo hacen usando los clasificadores para estudiar 10 000 imágenes elegidas al azar y simplemente cuentan las palabras visuales que activan cada clasificador con mayor frecuencia. Luego ensamblan estas palabras visuales en una imagen utilizando su técnica de bolsa de palabras visuales.

Y los resultados son fascinantes. Algunos de los clasificadores visualizados son notablemente similares a los propios objetos, al menos en lo que respecta al reconocimiento humano. Otros están extrañamente deformados, como obras de arte moderno. Y otros muestran cómo elementos adicionales pueden ser importantes, por ejemplo, cómo el horizonte es importante para identificar árboles.

Finalmente, Kato y Harada usan su enfoque para generar imágenes a partir de oraciones ordinarias. Lo hacen convirtiendo cada palabra de la oración en una bolsa de palabras visuales y luego lo convierten en una imagen.

Convertir palabras ordinarias en una bolsa de palabras visuales es una tarea complicada. Los investigadores hacen esto buscando a través de un conjunto de datos de imágenes con leyendas. Cada vez que aparece una palabra en un título, agregan las palabras visuales de la imagen a una bolsa. Esto crea una gran bolsa de palabras visuales a partir de las cuales es posible generar una imagen.

Los resultados son fascinantes. Varias oraciones se traducen a imágenes completamente sin sentido, admiten Kato y Harada. Probablemente se deba a que el método de convertir una palabra en una bolsa de palabras visuales es demasiado simple. Pero otras oraciones producen imágenes oníricas que están vagamente conectadas con la idea original (vea las imágenes a continuación).

Kato y Harada dicen que este es un comienzo prometedor y abre el camino a una nueva generación de sistemas de creación de imágenes.

Ese es un trabajo verdaderamente fascinante que es un importante paso adelante en la creatividad computacional. Pídele a Google que defina imaginación y dice esto: la facultad o acción de formar nuevas ideas, o imágenes o conceptos de objetos externos no presentes a los sentidos . Así que no es exagerado decir que Kato y Harada han creado la primera imaginación computacional del mundo.

Ref: http://arxiv.org/abs/1505.05190 : Reconstrucción de imágenes de Bag-of-Visual-Words

esconder