211service.com
Cuando la IA proporciona el sonido en los videoclips, los humanos no pueden notar la diferencia
El aprendizaje automático está cambiando la forma en que pensamos sobre las imágenes y cómo se crean. Los investigadores han entrenado máquinas para generar caras, dibujar caricaturas e incluso transferir el estilo de las pinturas a las imágenes. Hay solo un pequeño paso desde estas técnicas hasta la creación de videos de esta manera y, de hecho, esto ya se está haciendo.
Todo eso apunta a una forma de crear entornos virtuales completamente por máquina. Eso abre todo tipo de posibilidades para el futuro de la experiencia humana.
Pero hay un problema. El video no es solo una experiencia visual; generar un sonido realista es igual de importante. Entonces, una pregunta interesante es si las máquinas pueden generar de manera convincente el componente de audio de un video.
Hoy recibimos una respuesta gracias al trabajo de Yipin Zhou y sus amigos de la Universidad de Carolina del Norte en Chapel Hill y algunos amigos de Adobe Research. Estos muchachos han entrenado un algoritmo de aprendizaje automático para generar bandas sonoras realistas para videoclips cortos.
De hecho, los sonidos son tan realistas que engañan a la mayoría de los humanos haciéndoles creer que son reales. Usted puede haz una prueba tu mismo aqui para ver si puedes notar la diferencia.
El equipo adopta el enfoque estándar para el aprendizaje automático. Los algoritmos son tan buenos como los datos utilizados para entrenarlos, por lo que el primer paso es crear un gran conjunto de datos anotados de alta calidad de ejemplos de video.
El equipo crea este conjunto de datos seleccionando un subconjunto de clips de una colección de Google llamada Audioset, que consta de más de dos millones de clips de 10 segundos de YouTube que incluyen eventos de audio. Estos videos se dividen en categorías etiquetadas por personas que se enfocan en cosas como perros, motosierras, helicópteros, etc.
Para entrenar una máquina, el equipo debe tener clips en los que la fuente de sonido sea claramente visible. Por lo tanto, cualquier video que contenga audio de eventos fuera de la pantalla no es adecuado. El equipo los filtra utilizando trabajadores colaborativos del servicio Mechanical Turk de Amazon para encontrar clips en los que la fuente de audio sea claramente visible y domine la banda sonora.
Eso produjo un nuevo conjunto de datos con más de 28,000 videos, cada uno de unos siete segundos de duración, que cubren 10 categorías diferentes.
Luego, el equipo usó estos videos para entrenar una máquina para reconocer las formas de onda asociadas con cada categoría y reproducirlas desde cero usando una red neuronal llamada SampleRNN.
Finalmente, probaron los resultados pidiendo a evaluadores humanos que calificaran la calidad del sonido que acompaña a un video y que determinaran si es real o generado artificialmente.
Los resultados sugieren que las máquinas pueden volverse bastante buenas en esta tarea. Nuestros experimentos muestran que los sonidos generados son bastante realistas y tienen una buena sincronización temporal con las entradas visuales, dicen Zhou y compañía.
Y los evaluadores humanos parecen estar de acuerdo. Las evaluaciones muestran que más del 70% del sonido generado por nuestros modelos puede engañar a los humanos para que piensen que son reales, dicen Zhou y compañía.
Es un trabajo interesante que allana el camino para la edición de sonido automatizada. Un problema común en los videos es que el ruido extraño de una fuente fuera de la pantalla puede arruinar un clip. Por lo tanto, será útil tener una forma de reemplazar automáticamente el sonido con una alternativa realista generada por una máquina.
Y con la participación de Adobe en esta investigación, es posible que no pase mucho tiempo antes de que veamos este tipo de capacidad en el software de edición de video comercial.
Ref: arxiv.org/abs/1712.01393 : De visual a sonido: generación de sonido natural para videos en la naturaleza