Cómo Google convirtió la traducción de idiomas en un problema de matemáticas del espacio vectorial

La informática está cambiando la naturaleza de la traducción de palabras y oraciones de un idioma a otro. Cualquiera que lo haya intentado BabelFish o Traductor de google sabrá que ofrecen servicios de traducción útiles, pero que distan mucho de ser perfectos.

La idea básica es comparar un corpus de palabras en un idioma con el mismo corpus de palabras traducidas a otro. Las palabras y frases que comparten propiedades estadísticas similares se consideran equivalentes.

El problema, por supuesto, es que las traducciones iniciales se basan en diccionarios que deben ser compilados por expertos humanos y esto requiere mucho tiempo y esfuerzo.

Ahora, Tomas Mikolov y un par de amigos de Google en Mountain View han desarrollado una técnica que genera automáticamente diccionarios y tablas de frases que convierten un idioma en otro.

La nueva técnica no se basa en versiones del mismo documento en diferentes idiomas. En su lugar, utiliza técnicas de minería de datos para modelar la estructura de un solo idioma y luego lo compara con la estructura de otro idioma.

Este método hace pocas suposiciones sobre los idiomas, por lo que se puede utilizar para ampliar y perfeccionar los diccionarios y las tablas de traducción para cualquier combinación de idiomas, dicen.

El nuevo enfoque es relativamente sencillo. Se basa en la noción de que cada idioma debe describir un conjunto similar de ideas, por lo que las palabras que hacen esto también deben ser similares. Por ejemplo, la mayoría de los idiomas tienen palabras para animales comunes como gato, perro, vaca, etc. Y estas palabras probablemente se usan de la misma manera en oraciones como un gato es un animal que es más pequeño que un perro.

Lo mismo ocurre con los números. La imagen de arriba muestra las representaciones vectoriales de los números del uno al cinco en inglés y español y demuestra cuán similares son.

Ésta es una pista importante. El nuevo truco consiste en representar un idioma completo utilizando la relación entre sus palabras. El conjunto de todas las relaciones, el llamado espacio del lenguaje, puede pensarse como un conjunto de vectores que cada uno apunta de una palabra a otra. Y en los últimos años, los lingüistas han descubierto que es posible manejar estos vectores matemáticamente. Por ejemplo, la operación 'rey' - 'hombre' + 'mujer' da como resultado un vector similar a 'reina'.

Resulta que diferentes lenguajes comparten muchas similitudes en este espacio vectorial. Eso significa que el proceso de convertir un idioma en otro es equivalente a encontrar la transformación que convierte un espacio vectorial en otro.

Esto convierte el problema de la traducción de lingüística en matemática. Entonces, el problema para el equipo de Google es encontrar una manera de mapear con precisión un espacio vectorial sobre el otro. Para ello, utilizan un pequeño diccionario bilingüe compilado por expertos humanos; comparar el mismo corpus de palabras en dos idiomas diferentes les da una transformación lineal lista para usar que funciona.

Una vez identificado este mapeo, es sencillo aplicarlo a los espacios lingüísticos más amplios. Mikolov y compañía dicen que funciona muy bien. A pesar de su simplicidad, nuestro método es sorprendentemente efectivo: podemos lograr casi un 90% de precisión @ 5 para la traducción de palabras entre inglés y español, dicen.

El método se puede utilizar para ampliar y perfeccionar los diccionarios existentes, e incluso para detectar errores en ellos. De hecho, el equipo de Google hace exactamente eso con un diccionario inglés-checo, encontrando numerosos errores.

Finalmente, el equipo señala que, dado que la técnica hace pocas suposiciones sobre los lenguajes en sí, se puede usar en argots que no están relacionados en absoluto. Entonces, si bien el español y el inglés tienen una historia indoeuropea común, Mikolov y sus colegas muestran que la nueva técnica también funciona igual de bien para pares de idiomas que están menos relacionados, como el inglés y el vietnamita.

Es un paso adelante útil para el futuro de la comunicación multilingüe. Pero el equipo dice que esto es solo el comienzo. Claramente, aún queda mucho por explorar, concluyen.

Ref: arxiv.org/abs/1309.4168 : Explotación de similitudes entre idiomas para la traducción automática

esconder