Cómo Google 'traduce' las imágenes en palabras usando las matemáticas del espacio vectorial

Traducir un idioma a otro siempre ha sido una tarea difícil. Pero en los últimos años, Google ha transformado este proceso mediante el desarrollo de algoritmos de traducción automática que cambian la naturaleza de las comunicaciones interculturales a través de Google Translate.

Ahora esa empresa está utilizando la misma técnica de aprendizaje automático para traducir imágenes en palabras. El resultado es un sistema que genera automáticamente leyendas de imágenes que describen con precisión el contenido de las imágenes. Eso es algo que será útil para los motores de búsqueda, para la publicación automatizada y para ayudar a las personas con discapacidad visual a navegar por la web y, de hecho, por el resto del mundo.

El enfoque convencional de la traducción de idiomas es un proceso iterativo que comienza traduciendo palabras individualmente y luego reordenando las palabras y frases para mejorar la traducción. Pero en los últimos años, Google ha descubierto cómo usar su base de datos de búsqueda masiva para traducir texto de una manera completamente diferente.

El enfoque consiste esencialmente en contar la frecuencia con la que las palabras aparecen junto a otras palabras o cerca de ellas y luego definirlas en un espacio vectorial abstracto en relación entre sí. Esto permite que cada palabra se represente mediante un vector en este espacio y que las oraciones se representen mediante combinaciones de vectores.

Google continúa haciendo una suposición importante. Esto es que las palabras específicas tienen la misma relación entre sí, independientemente del idioma. Por ejemplo, el vector rey - hombre + mujer = reina debería ser válido en todos los idiomas.

Eso hace que la traducción de idiomas sea un problema de las matemáticas del espacio vectorial. Google Translate lo aborda convirtiendo una oración en un vector y luego usando ese vector para generar la oración equivalente en otro idioma.

Ahora, Oriol Vinyals y sus amigos de Google están utilizando un enfoque similar para traducir imágenes en palabras. Su técnica consiste en utilizar una red neuronal para estudiar un conjunto de datos de 100.000 imágenes y sus leyendas y así aprender a clasificar el contenido de las imágenes.

Pero en lugar de producir un conjunto de palabras que describan la imagen, su algoritmo produce un vector que representa la relación entre las palabras. Luego, este vector se puede conectar al algoritmo de traducción existente de Google para producir un título en inglés o, de hecho, en cualquier otro idioma. En efecto, el enfoque de aprendizaje automático de Google ha aprendido a traducir imágenes en palabras.

Para probar la eficacia de este enfoque, utilizaron evaluadores humanos reclutados de Mechanical Turk de Amazon para calificar los subtítulos generados automáticamente de esta manera junto con los generados por otros enfoques automatizados y por humanos.

Los resultados muestran que el nuevo sistema, que Google llama Neural Image Caption, funciona bien. Mediante el uso de un conocido conjunto de datos de imágenes llamado PASCAL, Neural image Capture superó claramente a otros enfoques automatizados. NIC arrojó una puntuación BLEU de 59, en comparación con el estado actual de la técnica de 25, mientras que el rendimiento humano alcanza 69, dice Vinyals y compañía.

Eso no está mal y parece que el enfoque mejorará a medida que aumente el tamaño de los conjuntos de datos de entrenamiento. Está claro a partir de estos experimentos que, a medida que aumenta el tamaño de los conjuntos de datos disponibles para la descripción de imágenes, también lo hará el rendimiento de enfoques como NIC, dice el equipo de Google.

Claramente, esta es otra tarea más para la cual los días de la supremacía humana sobre las máquinas están contados.

Ref: arxiv.org/abs/1411.4555 : Mostrar y contar: un generador de subtítulos de imágenes neuronales

esconder