Algoritmo de aprendizaje automático observa Dance Dance Revolution y luego crea sus propios bailes

Dance Dance Revolution es uno de los videojuegos clásicos de finales del siglo XX. Un testimonio de su éxito, novedad y longevidad es que sigue siendo popular hoy en día, casi 20 años después de su lanzamiento.

Este es un juego de baile que consta de una pantalla y una plataforma de baile que los jugadores controlan con los pies. La plataforma tiene cuatro pads, que los jugadores deben tocar con música en el orden especificado por un gráfico en la pantalla. Así que los jugadores deben bailar al ritmo de la música de la manera que exige el juego.

El juego también permite a los jugadores diseñar y distribuir sus propios bailes. A lo largo de los años, la gente ha creado enormes bases de datos de bailes para una gran variedad de canciones populares.

Eso le dio una idea a Chris Donahue y sus amigos de la Universidad de California en San Diego. ¿Por qué no usar esta enorme base de datos para entrenar una máquina de aprendizaje profundo para crear sus propios bailes?

Hoy, muestran cómo han hecho precisamente eso. Su sistema, llamado Dance Dance Convolution, toma como entrada los archivos de audio sin procesar de canciones pop y produce rutinas de baile como salida. El resultado es una máquina que puede coreografiar música.

El juego en sí es sencillo en principio. Mientras suena la música, el jugador toca los pads en la plataforma de baile en el orden que se muestra en la pantalla. Cada pad puede estar en uno de cuatro estados: activado, desactivado, en espera (o congelado) y liberado. Debido a que los cuatro pads se pueden activar o liberar de forma independiente, hay 256 combinaciones de pasos posibles en cualquier instante.

Por supuesto, los bailes se vuelven progresivamente más difíciles, y la mayoría de las canciones tienen bailes con cinco niveles de dificultad. La dificultad está determinada por la velocidad de las subdivisiones rítmicas. Los juegos de nivel principiante tienen pasos en notas negras y corcheas, pero los bailes de mayor dificultad tienen pasos de notas 16 y algunos patrones que involucran notas 12 y 24.

También hay otras reglas informales para la creación de listas de baile. Los autores de gráficos se esfuerzan por evitar patrones que obliguen a un jugador a alejarse de la pantalla, dicen Donahue y compañía. El resultado son danzas con una amplia variedad de ricas estructuras.

La tarea de automatizar la creación de tablas de baile no es sencilla. Donahue y compañía lo dividen en dos partes. El primero es decidir cuándo colocar los escalones y el segundo es decidir qué escalones seleccionar. Luego entrenan un algoritmo de aprendizaje automático para aprender cada tarea.

La primera tarea se reduce a identificar un conjunto de marcas de tiempo en una canción en la que colocar los pasos. Esto es similar a un problema bien estudiado en la investigación musical llamado detección de inicio. Esto implica identificar momentos importantes en una canción, como las notas de la melodía o los golpes de batería.

Si bien no todos los inicios en nuestros datos corresponden a un paso de Dance Dance Revolution, cada paso de Dance Dance Revolution corresponde a un inicio, dicen Donahue y compañía.

Una vez identificadas las marcas de tiempo de cada paso, la segunda tarea es seleccionar un paso a realizar en cada instante.

En todas las tareas de aprendizaje automático, el conjunto de datos de entrenamiento es crucial. La investigación musical se ha visto obstaculizada en el pasado porque los problemas de derechos de autor pueden impedir que las canciones se utilicen en la investigación (o al menos se transmitan junto con los resultados).

DDR soluciona esto porque los usuarios comunes han creado muchos gráficos de baile. Donahue y compañía dicen que un repositorio en línea, llamado Stepmania Online, almacena más de 350 gigabytes de listas de baile en más de 100,000 canciones.

Para esta investigación, el equipo se enfoca en dos conjuntos de datos más pequeños que consisten en grabaciones más tablas de baile. El primero contiene 90 canciones coreografiadas por un solo autor, quien ha elaborado tablas de cinco niveles de dificultad para cada canción. El segundo conjunto de datos contiene 133 canciones, cada una con una tabla de baile única.

Luego, el equipo aumenta el conjunto de datos creando una imagen reflejada de cada gráfico, por ejemplo, intercambiando izquierda por derecha y arriba por abajo (o ambas). El resultado es un conjunto de datos de 35 horas de música en forma de archivos de audio sin procesar con más de 350 000 pasos.

Donahue y compañía luego usan el 80 por ciento de la música para entrenar el algoritmo de aprendizaje automático para que reconozca los tiempos para la ubicación de los pasos. Validan y prueban el modelo resultante con el 20 por ciento restante de los datos. Y usan proporciones similares para entrenar otro algoritmo para determinar la selección de pasos. Técnicas similares se utilizan ampliamente en el aprendizaje automático para tareas, como el procesamiento del lenguaje natural.

Los resultados son impresionantes. Nuestros experimentos establecen la viabilidad de usar el aprendizaje automático para generar automáticamente gráficos DDR de alta calidad a partir de audio sin procesar, dicen Donahue y compañía.

Al combinar los conocimientos de la detección del inicio musical y el modelado estadístico del lenguaje, hemos diseñado y evaluado una serie de métodos de aprendizaje profundo para aprender a coreografiar, dicen.

Ese es un trabajo entretenido que muestra la utilidad del aprendizaje automático para tareas en las que hay grandes conjuntos de datos anotados. También muestra que, una vez más, otro bastión de la creatividad humana ha caído en manos de las máquinas.

Ref: arxiv.org/abs/1703.06891 : Danza Danza Convolución

esconder