El sistema de IA de Facebook puede hablar con la voz de Bill Gates

Bill Gates Jack Taylor / Stringer / Getty

El habla de la máquina es algo así como una decepción. Incluso los mejores sistemas de texto a voz tienen una calidad mecánica y carecen de los cambios básicos en la entonación que usan los humanos. El sistema de habla muy copiado de Stephen Hawking es un buen ejemplo.

Eso es algo sorprendente dados los grandes avances en el aprendizaje automático en los últimos años. Seguramente las técnicas que han funcionado tan bien para reconocer caras y objetos y luego producir imágenes realistas de ellos deberían funcionar igualmente bien con audio. Realmente no.

Al menos, no hasta hoy. Ingrese a Sean Vasquez y Mike Lewis en Facebook AI Research, quienes han encontrado una manera de superar las limitaciones de los sistemas de texto a voz para producir clips de audio notablemente realistas generados completamente por una máquina. Su máquina, llamada MelNet, no solo reproduce la entonación humana, sino que puede hacerlo con la misma voz que las personas reales. Entonces el equipo lo entrenó para hablar como Bill Gates, entre otros. El trabajo abre la posibilidad de una interacción más realista entre humanos y computadoras, pero también plantea el espectro de una nueva era de contenido de audio falso.

Primero algunos antecedentes. El lento progreso en los sistemas realistas de texto a voz no se debe a la falta de intentos. Numerosos equipos han intentado entrenar algoritmos de aprendizaje profundo para reproducir patrones de voz reales utilizando grandes bases de datos de audio.

El problema de este enfoque, dicen Vásquez y Lewis, es el tipo de datos. Hasta ahora, la mayor parte del trabajo se ha centrado en grabaciones de forma de onda de audio. Estos muestran cómo la amplitud del sonido cambia con el tiempo, y cada segundo de audio grabado consta de decenas de miles de pasos de tiempo.

Estas formas de onda muestran patrones específicos en varias escalas diferentes. Durante unos segundos de habla, por ejemplo, la forma de onda refleja los patrones característicos asociados con las secuencias de palabras. Pero a escala de microsegundos, la forma de onda muestra características asociadas con el tono y el timbre de la voz. Y a otras escalas, la forma de onda refleja la entonación del hablante, la estructura del fonema, etc.

Otra forma de pensar en estos patrones es como correlaciones entre la forma de onda en un paso de tiempo y en el siguiente paso de tiempo. Entonces, para una escala de tiempo dada, el sonido al comienzo de una palabra se correlaciona con los sonidos que siguen.

Los sistemas de aprendizaje profundo deberían ser buenos para aprender este tipo de correlaciones y reproducirlas. El problema es que las correlaciones actúan en muchas escalas de tiempo diferentes, y los sistemas de aprendizaje profundo pueden estudiar las correlaciones solo en escalas de tiempo limitadas. Eso se debe a un tipo de proceso de aprendizaje que emplean, llamado retropropagación, que reconfigura repetidamente la red para mejorar su rendimiento sobre la base de los ejemplos que ve.

La tasa de repetición limita la escala de tiempo en la que se pueden aprender las correlaciones. Entonces, una red de aprendizaje profundo puede aprender correlaciones en formas de onda de audio en escalas de tiempo largas o cortas, pero no ambas. Es por eso que se desempeñan tan mal en la reproducción del habla.

Vásquez y Lewis tienen un enfoque diferente. En lugar de formas de onda de audio, utilizan espectrogramas para entrenar su red de aprendizaje profundo. Los espectrogramas registran todo el espectro de frecuencias de audio y cómo cambian con el tiempo. Entonces, mientras que las formas de onda capturan el cambio en el tiempo de un parámetro, la amplitud, los espectrogramas capturan el cambio en una amplia gama de frecuencias diferentes.

Esto significa que la información de audio se empaqueta más densamente en este tipo de representación de datos. El eje temporal de un espectrograma es órdenes de magnitud más compacto que el de una forma de onda, lo que significa que las dependencias que abarcan decenas de miles de pasos de tiempo en formas de onda solo abarcan cientos de pasos de tiempo en espectrogramas, dicen Vásquez y Lewis.

Eso hace que las correlaciones sean más accesibles para un sistema de aprendizaje profundo. Esto permite que nuestros modelos de espectrograma generen muestras incondicionales de voz y música con consistencia durante varios segundos, dicen.

Y los resultados son impresionantes. Habiendo entrenado el sistema utilizando el habla ordinaria de las charlas TED, MelNet puede reproducir la voz del orador TED diciendo más o menos cualquier cosa durante unos segundos. Los investigadores de Facebook demostraron su flexibilidad usando la charla TED de Bill Gates para entrenar a MelNet y luego usar su voz para decir una serie de frases aleatorias.

Este es el sistema que dice Fruncimos el ceño cuando los acontecimientos toman un mal giro y el Oporto es un vino fuerte con un sabor ahumado. Otros ejemplos están aquí.

fruncimos el ceño cuando los acontecimientos toman un mal giro

el puerto es un vino fuerte con un sabor ahumado

Hay algunas limitaciones, por supuesto. El habla ordinaria contiene correlaciones en escalas de tiempo aún más largas. Por ejemplo, los humanos usan cambios en la entonación para indicar cambios en el tema o el estado de ánimo a medida que las historias evolucionan durante decenas de segundos o minutos. La máquina de Facebook todavía no parece capaz de eso.

Entonces, si bien MelNet puede crear frases notablemente realistas, el equipo aún no ha perfeccionado oraciones, párrafos o historias completas más largas. Ese no parece ser un objetivo que pueda alcanzarse pronto.

Sin embargo, el trabajo podría tener un impacto significativo en la interacción humano-computadora. Muchas conversaciones involucran solo frases cortas. Los operadores telefónicos y los servicios de asistencia en particular pueden arreglárselas con una variedad de frases relativamente cortas. Entonces, esta tecnología podría automatizar estas interacciones de una manera mucho más humana que los sistemas actuales.

Sin embargo, por el momento, Vásquez y Lewis guardan silencio sobre las posibles aplicaciones.

Y como siempre, existen problemas potenciales con las máquinas de sonido natural, particularmente aquellas que pueden imitar a los humanos de manera confiable. No se necesita mucha imaginación para imaginar escenarios en los que esta tecnología podría usarse para hacer travesuras. Y por esa razón, es otro avance relacionado con la IA que plantea más preguntas éticas de las que responde.

Ref: arxiv.org/abs/1906.01083 : MelNet: un modelo generativo para audio en el dominio de la frecuencia

esconder