El aprendizaje profundo convierte las grabaciones mono en sonido inmersivo

Samuel Dixon | Unsplash

Escuche el canto de un pájaro en un árbol cercano y podrá identificar con relativa rapidez su ubicación aproximada sin mirar. Escuche el rugido del motor de un automóvil al cruzar la calle y, por lo general, podrá saber de inmediato si está detrás de usted.

La capacidad humana para localizar un sonido en un espacio tridimensional es extraordinaria. El fenómeno se entiende bien: es el resultado de la forma asimétrica de nuestras orejas y la distancia entre ellas.

Pero mientras los investigadores han aprendido a crear imágenes en 3D que engañan fácilmente a nuestro sistema visual, nadie ha encontrado una manera satisfactoria de crear sonidos 3D sintéticos que engañan de manera convincente a nuestro sistema auditivo.

Hoy, parece que eso cambiará, al menos en parte, gracias al trabajo de Ruohan Gao en la Universidad de Texas y Kristen Grauman en Facebook Research. Han usado un truco que los humanos también explotan para enseñarle a un sistema de inteligencia artificial a convertir los sonidos mono ordinarios en un sonido 3D bastante bueno. Los investigadores lo llaman sonido 2.5D.

Primero algunos antecedentes. El cerebro utiliza una variedad de pistas para determinar de dónde proviene un sonido en el espacio 3D. Una pista importante es la diferencia entre los tiempos de llegada de un sonido a cada oído: la diferencia de tiempo interaural.

Un sonido producido a tu izquierda obviamente llegará a tu oído izquierdo antes que al derecho. Y aunque no eres consciente de esta diferencia, el cerebro la usa para determinar de dónde viene el sonido.

Otra pista es la diferencia de volumen. Este mismo sonido será más fuerte en el oído izquierdo que en el derecho, y el cerebro también usa esta información para hacer su cálculo. Esto se llama la diferencia de nivel interaural.

Estas diferencias dependen de la distancia entre las orejas. Las grabaciones estéreo no reproducen este efecto, porque la separación de los micrófonos estéreo no lo iguala.

La forma en que el sonido interactúa con las orejeras también es importante. Las aletas distorsionan el sonido de formas que dependen de la dirección de la que llega. Por ejemplo, un sonido del frente llega al canal auditivo antes de golpear la orejera. Por el contrario, el mismo sonido procedente de detrás de la cabeza es distorsionado por la orejera antes de llegar al canal auditivo.

El cerebro también puede sentir estas diferencias. De hecho, la forma asimétrica del oído es la razón por la que podemos saber cuándo un sonido proviene de arriba, por ejemplo, o de muchas otras direcciones.

El truco para reproducir sonido 3D artificialmente es reproducir el efecto que tiene toda esta geometría en el sonido. Y ese es un problema difícil.

Una forma de medir la distorsión es con la grabación binaural. Esta es una grabación realizada colocando un micrófono dentro de cada oído, que puede captar estas pequeñas variaciones.

Al analizar las variaciones, los investigadores pueden reproducirlas usando un algoritmo matemático conocido como función de transferencia relacionada con la cabeza. Eso convierte cualquier par de auriculares normales en extraordinarias máquinas de sonido 3D.

Pero debido a que los oídos de todos son diferentes, todos escuchan el sonido de una manera diferente. Entonces, crear la función de transferencia relacionada con la cabeza de una persona significa medir la forma de las orejas de la persona antes de reproducir una grabación. Y aunque eso se puede hacer en el laboratorio, nadie ha descubierto cómo hacerlo en la naturaleza.

Aún así, hay formas de aproximarse al sonido 3D utilizando las distorsiones del sonido que no dependen de la forma del oído: el tiempo interaural y las diferencias de nivel.

El truco que usan Grauman y Gao es determinar de qué dirección proviene un sonido usando señales visuales (como los humanos también suelen hacer). Entonces, dado un video de una escena y una grabación de sonido mono, el sistema de aprendizaje automático determina de dónde provienen los sonidos y luego distorsiona el tiempo interaural y las diferencias de nivel para producir ese efecto para el oyente.

Por ejemplo, imagine un video que muestre a un par de músicos tocando un tambor y un piano. Si el tambor está en el lado izquierdo del campo de visión y el piano en el derecho, es sencillo suponer que los sonidos del tambor deben provenir de la izquierda y el piano de la derecha. Eso es lo que hace este sistema de aprendizaje automático, distorsionando el sonido en consecuencia.

El método de formación de los investigadores es relativamente sencillo. El primer paso para entrenar cualquier sistema de aprendizaje automático es crear una base de datos de ejemplos del efecto que necesita aprender. Grauman y Gao crearon uno haciendo grabaciones binaurales de más de 2000 clips musicales que también grabaron en video.

Su grabadora binaural consta de un par de orejas sintéticas separadas por el ancho de una cabeza humana, que también graba la escena con una cámara GoPro.

Luego, el equipo usó estas grabaciones para entrenar un algoritmo de aprendizaje automático para reconocer de dónde provenía un sonido dado el video de la escena. Habiendo aprendido esto, puede ver un video y luego distorsionar una grabación monoaural de una manera que simula de dónde debería provenir el sonido. Llamamos a la salida resultante sonido visual 2.5D: el flujo visual ayuda a 'elevar' el audio de un solo canal plano en sonido espacializado, dicen Grauman y Gao.

Los resultados son impresionantes. Tú puedes ver un video de su trabajo aqui —asegúrese de usar auriculares mientras mira.

El video compara los resultados de las grabaciones 2.5D con la grabación monoaural y muestra lo bueno que puede ser. El sonido visual 2.5D previsto ofrece una experiencia de audio más inmersiva, dicen Grauman y Gao.

Sin embargo, no produce un sonido 3D completo por las razones mencionadas anteriormente: los investigadores no crean una función de transferencia personalizada relacionada con la cabeza.

Y hay algunas situaciones que el algoritmo encuentra difíciles de manejar. Obviamente, el sistema no puede manejar ninguna fuente de sonido que no sea visible en el video. Tampoco puede lidiar con fuentes de sonido que no ha sido entrenado para reconocer. Este sistema está enfocado principalmente a videos musicales.

Sin embargo, Grauman y Gao tienen una idea inteligente que funciona bien para muchos videos musicales. Y tienen la ambición de extender sus aplicaciones. Planeamos explorar formas de incorporar la localización y el movimiento de objetos, y modelar explícitamente los sonidos de la escena, dicen.

Ref: arxiv.org/abs/1812.04204 : Sonido visual 2.5D

esconder