Estas fotos extrañas e inquietantes muestran que la IA se está volviendo más inteligente

Instituto Allen para la IA

De todos los modelos de IA del mundo, GPT-3 de OpenAI ha capturado más la imaginación del público. Puede escupir poemas, cuentos y canciones con pocas indicaciones y se ha demostrado engañar a la gente en pensar que sus resultados fueron escritos por un humano. Pero su elocuencia es más un truco de salón, que no debe confundirse con la inteligencia real.

No obstante, los investigadores creen que las técnicas utilizadas para crear GPT-3 podrían contener el secreto de una IA más avanzada. GPT-3 entrenó en una enorme cantidad de datos de texto. ¿Qué pasaría si se entrenaran los mismos métodos tanto en texto como en imágenes?

Ahora, una nueva investigación del Instituto Allen para la Inteligencia Artificial, AI2, ha llevado esta idea al siguiente nivel. Los investigadores han desarrollado un nuevo modelo de texto e imagen, también conocido como modelo de lenguaje visual, que puede generar imágenes con una leyenda. Las imágenes se ven inquietantes y extrañas, nada como los deepfakes hiperrealistas. generado por GAN — pero podrían demostrar una nueva dirección prometedora para lograr una inteligencia más generalizable, y quizás también robots más inteligentes.

Llene el espacio en blanco

GPT-3 es parte de un grupo de modelos conocidos como transformadores, que primero se hicieron populares con el éxito del BERT de Google. Antes de BERT, los modelos de lenguaje eran bastante malos. Tenían suficiente poder predictivo para ser útiles para aplicaciones como autocompletar, pero no lo suficiente para generar una oración larga que siguiera las reglas gramaticales y el sentido común.

BERT cambió eso al introducir una nueva técnica llamada enmascaramiento . Implica ocultar diferentes palabras en una oración y pedirle al modelo que llene el espacio en blanco. Por ejemplo:

• La mujer fue al ___ a hacer ejercicio.
• Compraron un ___ de pan para hacer sándwiches.

La idea es que si el modelo se ve obligado a hacer estos ejercicios, a menudo millones de veces, comienza a descubrir patrones en la forma en que las palabras se ensamblan en oraciones y las oraciones en párrafos. Como resultado, puede generar e interpretar mejor el texto, acercándolo más a la comprensión del significado del lenguaje. (Google ahora usa BERT ofrecerá resultados de búsqueda más relevantes en su motor de búsqueda .) Después de que el enmascaramiento demostró ser altamente efectivo, los investigadores buscaron aplicarlo a modelos de lenguaje visual ocultando palabras en subtítulos, así:

Un ____ se para en un suelo de tierra cerca de un árbol.

AI2

Esta vez el modelo podía mirar tanto las palabras circundantes y el contenido de la imagen para llenar el espacio en blanco. A través de millones de repeticiones, podría descubrir no solo los patrones entre las palabras, sino también las relaciones entre las palabras y los elementos de cada imagen.

El resultado son modelos que pueden relacionar descripciones de texto con referencias visuales, al igual que los bebés pueden hacer conexiones entre las palabras que aprenden y las cosas que ven. Las modelos pueden mirar la foto de abajo, por ejemplo, y escribir una leyenda sensata como Mujeres jugando hockey sobre césped. O pueden responder preguntas al respecto como ¿Cuál es el color de la pelota? conectando la palabra pelota con el objeto circular en la imagen.

Un modelo de lenguaje visual podría subtitular sensatamente esta foto: 'Mujeres jugando hockey sobre césped'.

JUAN TORCASIO / UNSPLASH

Una imagen vale mas que mil palabras

Pero los investigadores de AI2 querían saber si estos modelos realmente habían desarrollado una comprensión conceptual del mundo visual. Un niño que ha aprendido la palabra para un objeto no solo puede conjurar la palabra para identificar el objeto, sino también dibujar el objeto cuando se le solicite con la palabra, incluso si el objeto en sí no está presente. Entonces, los investigadores pidieron a los modelos que hicieran lo mismo: generar imágenes a partir de leyendas. Todos ellos escupen patrones de píxeles sin sentido en su lugar.

¡Es un pájaro! ¡Es un avión! No, es solo un galimatías generado por IA.

AI2

Tiene sentido: transformar texto en imágenes es mucho más difícil que al revés. Un pie de foto no especifica todo lo que contiene una imagen, dice Ani Kembhavi, quien lidera el equipo de visión por computadora en AI2. Entonces, un modelo debe basarse en mucho sentido común sobre el mundo para completar los detalles.

Si se le pide que dibuje una jirafa caminando por un camino, por ejemplo, también debe inferir que es más probable que el camino sea gris que rosa fuerte y que esté al lado de un campo de hierba que al lado del océano: aunque ninguna de esta información se hace explícita.

Entonces Kembhavi y sus colegas Jaemin Cho, Jiasen Lu y Hannaneh Hajishirzi decidieron ver si podían enseñarle a un modelo todo este conocimiento visual implícito modificando su enfoque del enmascaramiento. En lugar de entrenar al modelo solo para predecir palabras enmascaradas en las leyendas de las fotos correspondientes, también lo entrenaron para predecir píxeles enmascarados en las fotos sobre la base de sus leyendas correspondientes.

Las imágenes finales generadas por el modelo no son exactamente realistas. Pero ese no es el punto. Contienen los conceptos visuales correctos de alto nivel: el equivalente de IA de un niño que dibuja una figura de palo para representar a un humano. (Puedes probar el modelo por ti mismo aquí .)

Ejemplos de imágenes generadas por el modelo de AI2 a partir de las leyendas debajo de ellas.

AI2

La capacidad de los modelos de lenguaje visual para hacer este tipo de generación de imágenes representa un importante paso adelante en la investigación de la IA. Sugiere que el modelo es realmente capaz de cierto nivel de abstracción, una habilidad fundamental para comprender el mundo.

A largo plazo, esto podría tener implicaciones para la robótica. Cuanto mejor comprenda un robot su entorno visual y utilice el lenguaje para comunicarse sobre él, más complejas serán las tareas que podrá realizar. A corto plazo, este tipo de visualización también podría ayudar a los investigadores a comprender mejor exactamente qué están aprendiendo los modelos de IA de caja negra, dice Hajishirzi.

En el futuro, el equipo planea experimentar más para mejorar la calidad de la generación de imágenes y expandir el vocabulario visual y lingüístico del modelo para incluir más temas, objetos y adjetivos.

La generación de imágenes realmente ha sido una pieza faltante del rompecabezas, dice Lu. Al habilitar esto, podemos hacer que el modelo aprenda mejores representaciones para representar el mundo.

esconder