Por qué la IA de Google puede escribir hermosas canciones pero aún no puede contar un chiste

jeremy portje

Crear melodías de piano y configuraciones interminables de dibujos de gatos con IA puede no parecer un proyecto obvio para Google, pero tiene mucho sentido para Douglas Eck.

Eck ha pasado cerca de 15 años estudiando IA y música, y actualmente es científico investigador en el equipo de Google Brain, liderando Magenta, el proyecto de investigación de código abierto de Google que tiene como objetivo crear arte y música con aprendizaje automático.

habló con Revisión de tecnología del MIT sobre cómo Google está produciendo nuevos sonidos con redes neuronales profundas, dónde Magenta está tomando música de IA y por qué las computadoras apestan para contar chistes.

A continuación se muestra un extracto editado de la entrevista. Prima Revisión de tecnología del MIT los suscriptores pueden escuchar la entrevista completa.

El uso de IA para hacer arte no es nuevo, entonces, ¿qué tiene de especial el enfoque de Google?

Estamos explorando esta dirección muy específica que tiene que ver con redes neuronales profundas y redes neuronales recurrentes y otros tipos de aprendizaje automático. Y también nos esforzamos mucho por involucrar tanto a la comunidad artística como a los codificadores creativos y desarrolladores de código abierto al mismo tiempo, por lo que lo hemos convertido en un proyecto de código abierto.

Gran parte de Magenta se centra en la música. ¿Por qué la IA es buena para hacer y mejorar la música?

Para ser honesto, es solo un sesgo mío. Toda mi carrera de investigación se ha centrado en la música y el audio. Creo que el alcance de Magenta siempre ha sido el arte en general, la narración de historias, la música, la narrativa, las imágenes y tratar de entender cómo usar la IA como herramienta creativa. Pero tienes que empezar en alguna parte. Y creo que si haces un progreso serio en algo tan complicado como la música, y tan importante para nosotros como la música, entonces mi esperanza es que algo de eso también se traslade a otros dominios.

¿Podemos escuchar algo de música que se haya hecho con Magenta?

Esta es algo de música de un modelo llamado Rendimiento RNN .

Escuche y preste atención a la textura y todo lo que hay allí. Este es un tipo de composición musical, pero también es al mismo tiempo una interpretación musical, porque el modelo no solo genera notas negras, sino que también decide qué tan rápido se reproducirán, con qué volumen se reproducirán, y de hecho está reproduciendo lo que se entrenó, que fue un montón de interpretaciones de piano realizadas como parte de una competencia de piano.

Como muestra esa pieza, la música que se ha creado hasta ahora con Magenta es esencialmente improvisación. ¿Se puede utilizar la IA para crear una pieza musical coherente con estructura?

Estamos trabajando en eso. Entonces, una de las principales direcciones de investigación futura para nosotros y, francamente, para todo el campo de los modelos generativos (me refiero a modelos de aprendizaje automático que pueden intentar generar algo nuevo) es la estructura de aprendizaje. Y eso se muestra en la música aquí. Escuchas que no hay un modelo general que decida hacia dónde deben ir las cosas.

Si quisiéramos darle cambios de acordes, incluso los símbolos del cambio de acordes, y aprender contextualmente cómo aprovechar esos cambios de acordes, podríamos hacerlo. Incluso podríamos tener un modelo separado que genere cambios de acordes. Nuestro objetivo es crear este modelo de extremo a extremo que resuelva todos estos niveles de estructura por sí solo.

Háblame de Bosquejo-RNN , que es un experimento reciente de Magenta que le permite dibujar con una red neuronal recurrente: básicamente, comienzas a dibujar una piña y luego Sketch-RNN se hace cargo y la completa, una y otra vez, en muchos estilos diferentes.

Pudimos usar un montón de dibujos hechos por personas que jugaban Pictionary contra un algoritmo de aprendizaje automático: esto fue [datos de otro experimento de dibujo de Google AI realizado por Google Creative Lab,] ¡Dibujo rapido!

Hay límites en los datos. Hay tanto que vas a sacar de estos diminutos dibujos de 20 segundos. Pero creo que el trabajo realizado por el investigador principal [Sketch-RNN], David Ha, fue realmente hermoso. Básicamente, entrenó una red neuronal recurrente para aprender a reproducir estos dibujos. De alguna manera obligó al modelo a aprender lo que es importante. El modelo no era lo suficientemente potente como para memorizar todo el dibujo. Debido a que no puede memorizar todos los trazos que está viendo, su trabajo es simplemente reproducir muchos gatos o lo que sea, se ve obligado a aprender qué es lo importante sobre los gatos: ¿cuáles son los aspectos compartidos de los dibujos de gatos en millones de dibujos de gatos? Entonces, cuando juegas con este modelo, puedes pedirle que genere nuevos gatos de la nada. Genera gatos de aspecto realmente interesante que se parecen, creo, extrañamente a cómo la gente dibujaría gatos.

TensorFlow

Leí que estás trabajando con Magenta para enseñar a las computadoras a contar chistes. ¿Qué tipo de bromas generan las computadoras? (Esa no era en sí misma la primera línea de una broma).

El proyecto fue muy preliminar, muy exploratorio, planteándose la pregunta: ¿podemos entender ese componente del chiste que tiene que ver con la sorpresa? Especialmente los chistes y los juegos de palabras relacionados con el chiste, claramente hay un punto en el que todo funciona con normalidad, creo que sé lo que está pasando con esta oración, y luego, ¡bum! ¿Correcto? Y también creo que, intuitivamente, hay una geometría en el remate. Es sorprendente si el edificio se derrumba sobre tu cabeza; [un chiste] no es ese tipo de sorpresa. Es como, oh, cierto, ¡lo entiendo! ¿Sabes? Y esa sensación de que lo entiendo es, creo, una especie de retroceso que te obligan a hacer para conseguirlo. Entonces, estábamos buscando tipos particulares de modelos de aprendizaje automático que pueden generar estas cosas llamadas vectores de verdad que intentan comprender lo que sucede semánticamente en una oración y luego, ¿podemos manipularlos activamente para obtener un efecto diferente?

Y el tipo de broma que estábamos escuchando era... El mago estaba tan enojado que sacó su liebre. Y el juego de palabras de liebre y pelo, y conejo, lo entiendes, ¿verdad?

Sí. Pero tienes que saber mucho sobre palabras y lenguaje para entenderlo.

Sí, tienes que saber mucho. Este modelo no solo no contó ningún chiste, divertido o no, sino que tampoco conseguimos que el código convergiera.

¿Qué estás tratando de resolver con Magenta en este momento?

Tratando de comprender más la estructura a largo plazo con la música y también tratando de ramificarse en otra pregunta interesante, que es: ¿podemos aprender de los comentarios, no de un artista, sino de una audiencia?

Esto es ver el proceso artístico como algo iterativo. Los Beatles tenían 12 álbumes y cada uno de ellos era diferente. Y todos mostraban que estos músicos están aprendiendo de los comentarios que reciben de sus compañeros y de las multitudes, pero también de otras cosas que están sucediendo con otros artistas. Están realmente ligados a la cultura. Los artistas no son estáticos.

Y esta idea muy simple: ¿puedes hacer que alguien haga algo con un modelo generativo, lo publique, pero luego aproveche el hecho de la retroalimentación que recibe? Oh, eso estuvo bien, eso estuvo mal. Esa retroalimentación que recibimos, el artista puede aprender de eso de una manera, pero tal vez el modelo de aprendizaje automático también pueda aprender de eso, y decir, Oh, ya veo, aquí está toda la gente y esto es lo que piensan de lo que Estoy haciendo, y tengo estos parámetros. Y podemos establecer esos parámetros con respecto a la retroalimentación, usando el aprendizaje por refuerzo, y también estamos trabajando en eso.

Mientras escucho música creada con Magenta, me pregunto: si estás usando datos para entrenar la inteligencia artificial, ¿puede la IA crear algo realmente original, o será simplemente un derivado de aquello en lo que ha sido entrenada, ya sean canciones de Madonna o pinturas impresionistas, o ambos?

Creo que depende de lo que entendamos por original. Creo que es poco probable para mí que aparezca un algoritmo de aprendizaje automático y genere una nueva forma transformadora de hacer arte. Creo que una persona que trabaje con esta tecnología podría hacerlo. Y creo que estamos tan, tan lejos de que esta IA tenga una idea de cómo es realmente el mundo. Como si estuviera tan, tan lejos. Al mismo tiempo, creo que mucho arte es original en otro sentido. Por ejemplo, hago una canción EDM más genial con la caída en el lugar correcto, es divertido bailar y es nueva, pero tal vez no es, como, crear un género completamente nuevo. Y creo que ese tipo de creatividad es realmente interesante de todos modos. Que, en general, la mayor parte de lo que hacemos está sentado en un género que entendemos, y estamos probando cosas nuevas, y ese tipo de creatividad creo que la IA que tenemos ahora puede desempeñar un papel muy importante. No se está reproduciendo. el conjunto de datos, ¿verdad? Es mezclar las cosas.

esconder