La IA de Google ahora puede traducir su discurso manteniendo su voz

Una imagen del secretario general de la ONU, Ban Ki-moon, escuchando un dispositivo de traducción EMILIO MORENATTI/AP

Escucha este clip de audio en español.

Así es como podría sonar su traducción al inglés cuando se somete a un sistema tradicional de traducción automática.

Ahora, así es como suena cuando se pasa por el nuevo sistema de traducción automática de Google.

Los resultados no son perfectos, pero puedes escuchar cómo el traductor de Google pudo retener la voz y el tono del hablante original. Puede hacer esto porque convierte la entrada de audio directamente en salida de audio. sin pasos intermedios . Por el contrario, los sistemas de traducción tradicionales convierten el audio en texto, traducen el texto y luego vuelven a sintetizar el audio, perdiendo las características de la voz original en el proceso.

El nuevo sistema, denominado Traductor, tiene tres componentes, todos los cuales miran el espectrograma de audio del hablante: una instantánea visual de las frecuencias utilizadas cuando se reproduce el sonido, a menudo llamada huella de voz. El primer componente utiliza una red neuronal entrenada para mapear el espectrograma de audio en el idioma de entrada al espectrograma de audio en el idioma de salida. El segundo convierte el espectrograma en una onda de audio que se puede reproducir. El tercer componente puede volver a superponer las características vocales del altavoz original en la salida de audio final.

Este enfoque no solo produce traducciones más matizadas al retener claves no verbales importantes, sino que, en teoría, también debería minimizar el error de traducción, ya que reduce la tarea a menos pasos.

Translatetotron es actualmente una prueba de concepto. Durante las pruebas, los investigadores probaron el sistema solo con la traducción del español al inglés, que ya requería una gran cantidad de datos de capacitación cuidadosamente seleccionados. Pero las salidas de audio como el clip de arriba demuestran el potencial de un sistema comercial más adelante. Puedes escuchar más de ellos. aquí .

esconder