El avance lingüístico anuncia la traducción automática de miles de idiomas raros

La mejor conjetura es que los humanos actualmente hablan alrededor de 6.900 idiomas diferentes. Más de la mitad de la población mundial se comunica usando solo un puñado de ellos: chino, inglés, hindi, español y ruso. De hecho, el 95 por ciento de las personas se comunica usando solo 100 idiomas.

Los otros argots son mucho menos comunes. De hecho, los lingüistas estiman que alrededor de un tercio de los idiomas del mundo son hablados por menos de 1000 personas y están en peligro de desaparecer en los próximos 100 años más o menos. Con ellos irá el patrimonio cultural único que encarnan: historias, frases, chistes, remedios herbales e incluso emociones únicas.

Es fácil pensar que el aprendizaje automático puede ayudar. El problema es que la traducción automática se basa en enormes conjuntos de datos anotados para ejercer su oficio. Estos conjuntos de datos consisten en un vasto corpus de libros, artículos y sitios web que se han traducido manualmente a otros idiomas. Esto actúa como una piedra de Rosetta para los algoritmos de aprendizaje automático, y cuanto más grande es el conjunto de datos, mejor aprenden.

Un mapa que muestra cómo se agrupan los indicadores de tiempo pasado para 100 de los idiomas investigados.

Pero estos enormes conjuntos de datos simplemente no existen para la mayoría de los idiomas. Es por eso que la traducción automática funciona solo para una pequeña fracción de las jergas más comunes. Google Translate, por ejemplo, solo habla unos 90 idiomas.

Entonces, un desafío importante para los lingüistas es encontrar una manera de analizar automáticamente los idiomas menos comunes para comprenderlos mejor.

Hoy, Ehsaneddin Asgari y Hinrich Schutze de la Universidad Ludwig-Maximilian de Munich en Alemania dicen que han hecho precisamente eso. Su nuevo enfoque revela elementos importantes de casi cualquier idioma que luego se pueden usar como trampolín para la traducción automática.

La nueva técnica se basa en un único texto que ha sido traducido a al menos 2.000 idiomas diferentes. Esta es la Biblia, y los lingüistas han reconocido durante mucho tiempo su importancia en su disciplina.

En consecuencia, han creado una base de datos llamada Corpus Bíblico Paralelo, que consta de traducciones del Nuevo Testamento en 1.169 idiomas. Este conjunto de datos no es lo suficientemente grande para el tipo de aprendizaje automático industrial que realizan Google y otros. Entonces, Asgari y Schutze han ideado otro enfoque basado en la forma en que aparecen los tiempos verbales en diferentes idiomas.

La mayoría de los idiomas usan palabras específicas o combinaciones de letras para representar los tiempos. Entonces, el nuevo truco es identificar manualmente estas señales en varios idiomas y luego usar técnicas de minería de datos para buscar otras traducciones en busca de palabras o cadenas de letras que desempeñen el mismo papel.

Por ejemplo, en inglés, el tiempo presente se representa con la palabra is, el tiempo futuro con la palabra will y el tiempo pasado con la palabra was. Por supuesto, también hay otros significantes.

La idea de Asgari y Schutze es encontrar todas estas palabras en la traducción al inglés de la Biblia junto con otros ejemplos de un puñado de traducciones a otros idiomas. Luego busque cadenas de palabras o letras que desempeñen el mismo papel en otros idiomas. Por ejemplo, la cadena de letras -ed también significa tiempo pasado en inglés.

Pero hay un giro. Asgari y Schutze no comienzan con el inglés porque es un idioma relativamente antiguo con muchas excepciones a la regla, lo que dificulta su aprendizaje.

En cambio, comienzan con un conjunto de idiomas criollos que se han desarrollado a partir de una mezcla de otros idiomas. Por ser más jóvenes, las lenguas criollas han tenido menos tiempo para desarrollar estas idiosincrasias lingüísticas. Y eso significa que generalmente contienen mejores marcadores de características lingüísticas como el tiempo. Nuestra razón es que los idiomas criollos son más regulares que otros idiomas porque son jóvenes y no han acumulado un 'equipaje histórico' que pueda dificultar el análisis computacional, dicen.

Uno de estos idiomas es el criollo de Seychelles, que usa la palabra ti para indicar el tiempo pasado. Por ejemplo, mon travay significa que trabajo en este idioma, mientras que mon ti travay significa que trabajé y mon ti pe travay significa que estaba trabajando. Así que ti es un buen significante del tiempo pasado.

Asgari y Schutze compilan una lista de significados de tiempo pasado en otros 10 idiomas y luego extraen del Corpus de la Biblia paralela otras palabras y cadenas de letras que realizan la misma función. Repiten esto para el tiempo presente y el tiempo futuro.

Los resultados hacen una lectura interesante. La técnica revela construcciones lingüísticas relacionadas con el tiempo en lenguajes comunes como -ed en inglés y -te en alemán, así como las palabras y frases que realizan las mismas funciones en lenguajes mucho menos comunes como el tiempo pasado significante den en Gourmanchema. idioma de Burkino Faso, y yi en Yalunka, hablado en Mali, y así sucesivamente.

Este trabajo permite a los investigadores crear mapas que muestren cómo se relacionan los idiomas que usan construcciones verbales similares (ver diagrama).

Es un trabajo interesante. Asgari y Schutze han desarrollado un método computacional para analizar la forma en que las personas usan el tiempo pasado, presente y futuro en más de 1000 idiomas. Este es el estudio computacional multilingüe más grande jamás realizado. De hecho, el número de idiomas involucrados es un orden de magnitud mayor que en otros estudios.

El trabajo tiene una aplicación significativa. Los mapas de tiempo del idioma permiten a los investigadores determinar rápidamente las relaciones entre los idiomas y cómo están conectados. Eso podría usarse para comprender mejor la evolución del lenguaje.

Y el mismo enfoque también podría usarse para otras características lingüísticas. Solo requerimos que una característica lingüística se marque abiertamente en unos pocos de miles de idiomas en lugar de exigir que se marque en todos los idiomas bajo investigación, dicen Asgari y Schutze.

Las implicaciones van más allá. La lingüística computacional ha tenido un profundo impacto en nuestra comprensión del lenguaje, la forma en que varía en todo el mundo y cómo las máquinas pueden entenderlo. Esta disciplina emergente ha hecho posible traducir automáticamente muchos idiomas directamente a otros en forma escrita y hablada. De hecho, la promesa es que la traducción automática instantánea pronto igualará y luego superará la capacidad de los intérpretes humanos.

Pero la utilidad de la traducción automática para ciertos idiomas los hace más populares a expensas de los idiomas que no se atienden. Es por eso que la traducción automática podría acelerar la desaparición de los idiomas en peligro de extinción.

De hecho, los lingüistas han visto un fenómeno similar con otras formas de comunicación masiva, como los servicios de televisión por satélite. Estos generalmente transmiten en un solo idioma, que luego se vuelve más deseable y popular que los idiomas que no se transmiten.

El trabajo de Asgari y Schutze podría ayudar a revertir este patrón de declive. Por supuesto, es un gran paso de este trabajo a la traducción automática precisa, pero es un paso en la dirección correcta.

Ref: arxiv.org/abs/1704.08914 : Pasado, Presente, Futuro: Una Investigación Computacional de la Tipología del Tiempo en 1,000 Idiomas

esconder