211service.com
La nueva IA políglota de Facebook puede traducir entre 100 idiomas
Edurne Chopeitia / Unsplash
Las noticias: facebook es fuente abierta un nuevo modelo de lenguaje de IA llamado M2M-100 que puede traducir entre cualquier par de 100 idiomas. De las 4.450 combinaciones posibles de idiomas, traduce 1.100 de ellas directamente. Esto contrasta con los modelos multilingües anteriores, que dependen en gran medida del inglés como idioma intermedio. Una traducción del chino al francés, por ejemplo, normalmente pasa del chino al inglés y luego del inglés al francés, lo que aumenta la posibilidad de introducir errores.
Curación de datos: El modelo fue entrenado en 7.500 millones de pares de oraciones. Para compilar un conjunto de datos tan grande, los investigadores se basaron en gran medida en la curación automatizada. Utilizaron rastreadores web para extraer miles de millones de oraciones de la web y tenían otro modelo de lenguaje llamado FastText para identificar el idioma. (No usaron ningún dato de Facebook). Luego usaron un programa llamado LASER 2.0, desarrollado previamente por el laboratorio de investigación de inteligencia artificial de Facebook, que usa aprendizaje no supervisado (aprendizaje automático que no requiere datos etiquetados manualmente) para hacer coincidir oraciones entre idiomas por su significado
LASER 2.0 crea lo que se conoce como incrustaciones a partir de grandes conjuntos de datos no estructurados de oraciones. Se entrena en los ejemplos de oraciones disponibles dentro de cada idioma y mapea sus relaciones entre sí en función de la frecuencia y la proximidad entre ellas. Estas incrustaciones ayudan al modelo de aprendizaje automático a aproximar el significado de cada oración, lo que luego permite que LASER 2.0 empareje automáticamente oraciones que comparten el mismo significado en diferentes idiomas.
Emparejamiento de idiomas: Los investigadores se centraron en las combinaciones de idiomas que creían que se solicitarían con más frecuencia. Agruparon los idiomas según similitudes lingüísticas, geográficas y culturales, con la suposición de que las personas que viven en la misma región se comunicarían con más frecuencia. Un grupo de idiomas, por ejemplo, incluía los idiomas más comunes que se hablan en la India, incluidos el bengalí, el hindi, el tamil y el urdu. LASER 2.0 luego apuntó su búsqueda de pares de oraciones en todos los pares de idiomas posibles dentro de cada grupo.
Desafíos en curso: Los idiomas que se hablan en lugares como África y el Sudeste Asiático todavía sufren problemas de calidad de traducción porque hay muy pocos datos de idiomas disponibles para extraerlos de la web, dice Angela Fan, investigadora principal del proyecto. Dada la dependencia de los datos de la web, los investigadores también necesitan descubrir técnicas para identificar y erradicar cualquier sexismo, racismo y otros sesgos discriminatorios arraigados. En este momento, los investigadores han utilizado un filtro de blasfemias para limpiar un lenguaje particularmente ofensivo, pero se limita principalmente al inglés.
Solo investigación: Facebook no tiene planes actuales para usar el modelo en sus productos. M2M-100 está diseñado solo para fines de investigación, dice Fan. Sin embargo, en última instancia, el objetivo es que el modelo mejore y amplíe las capacidades de traducción existentes de Facebook. Las aplicaciones podrían incluir comunicación con el usuario (por ejemplo, la función que permite a las personas traducir publicaciones a su idioma nativo) y tal vez moderación de contenido.