Este sillón de aguacate podría ser el futuro de la IA

IA abierta

Con GPT-3 , OpenAI demostró que un solo modelo de aprendizaje profundo podría entrenarse para usar el lenguaje de varias maneras simplemente arrojándole grandes cantidades de texto. Luego mostró que intercambiando texto por píxeles , el mismo enfoque podría usarse para entrenar una IA para completar imágenes a medio terminar. GPT-3 imita cómo los humanos usan las palabras; La imagen GPT-3 predice lo que vemos.

Ahora OpenAI ha juntado estas ideas y ha construido dos nuevos modelos, llamados DARLE y ACORTAR , que combinan lenguaje e imágenes de una manera que hará que las IA comprendan mejor las palabras y a qué se refieren.

Vivimos en un mundo visual, dice Ilya Sutskever, científico jefe de OpenAI. A la larga, tendrá modelos que entiendan tanto texto como imágenes. La IA podrá comprender mejor el lenguaje porque puede ver el significado de las palabras y las oraciones.

Historia relacionada

El nuevo generador de lenguaje GPT-3 de OpenAI es sorprendentemente bueno y completamente insensato

La IA es el modelo de lenguaje más grande que se haya creado y puede generar un texto increíble similar al humano bajo demanda, pero no nos acercará a la verdadera inteligencia.

A pesar de todo el estilo de GPT-3, su salida puede parecer desconectada de la realidad, como si no supiera de qué está hablando. Eso es porque no lo hace. Al basar el texto en imágenes, los investigadores de OpenAI y otros lugares están tratando de dar a los modelos de lenguaje una mejor comprensión de los conceptos cotidianos que los humanos usan para dar sentido a las cosas.

DALL·E y CLIP abordan este problema desde diferentes direcciones. A primera vista, CLIP (preentrenamiento de imágenes de lenguaje contrastivo) es otro sistema de reconocimiento de imágenes. Excepto que ha aprendido a reconocer imágenes no a partir de ejemplos etiquetados en conjuntos de datos seleccionados, como lo hacen la mayoría de los modelos existentes, sino a partir de imágenes y sus leyendas tomadas de Internet. Aprende lo que hay en una imagen a partir de una descripción en lugar de una etiqueta de una sola palabra como gato o plátano.

CLIP se entrena para que prediga qué título de una selección aleatoria de 32.768 es el correcto para una imagen determinada. Para resolver esto, CLIP aprende a vincular una amplia variedad de objetos con sus nombres y las palabras que los describen. Esto le permite identificar objetos en imágenes fuera de su conjunto de entrenamiento. La mayoría de los sistemas de reconocimiento de imágenes están capacitados para identificar ciertos tipos de objetos, como rostros en videos de vigilancia o edificios en imágenes satelitales. Al igual que GPT-3, CLIP puede generalizar entre tareas sin capacitación adicional. También es menos probable que otros modelos de reconocimiento de imágenes de última generación se desvíen por ejemplos contradictorios, que se han alterado sutilmente de manera que generalmente confunden a los algoritmos, aunque los humanos no noten la diferencia.

En lugar de reconocer imágenes, DALL·E (que supongo que es un juego de palabras de WALL·E/Dali) las dibuja. Este modelo es una versión más pequeña de GPT-3 que también ha sido entrenado en pares de texto-imagen tomados de Internet. Dada una breve leyenda en lenguaje natural, como una pintura de un capibara sentado en un campo al amanecer o una vista transversal de una nuez, DALL·E genera muchas imágenes que coinciden: docenas de capibaras de todas las formas y tamaños. frente a fondos anaranjados y amarillos; hilera tras hilera de nueces (aunque no todas en sección transversal).

ponte surrealista

Los resultados son sorprendentes, aunque siguen siendo mixtos. La leyenda de una vidriera con la imagen de una fresa azul produce muchos resultados correctos pero también algunos que tienen ventanas azules y fresas rojas. Otros no contienen nada que parezca una ventana o una fresa. Los resultados presentado por el equipo de OpenAI en una entrada de blog no han sido seleccionadas a mano sino clasificadas por CLIP, que ha seleccionado las 32 imágenes DALL·E para cada pie de foto que considera que mejor se ajustan a la descripción.

La conversión de texto a imagen es un desafío de investigación que existe desde hace tiempo, dice Mark Riedl, quien trabaja en PNL y creatividad computacional en el Instituto de Tecnología de Georgia en Atlanta. Pero este es un impresionante conjunto de ejemplos.

Imágenes dibujadas por DALL·E para el pie de foto Un rábano daikon bebé en un tutú paseando a un perro

Para probar la capacidad de DALL·E para trabajar con conceptos novedosos, los investigadores le dieron subtítulos que describían objetos que pensaban que no habría visto antes, como un sillón de aguacate y una ilustración de un rábano daikon bebé en un tutú paseando a un perro. En ambos casos, la IA generó imágenes que combinaron estos conceptos de manera plausible.

Los sillones en particular parecen sillas y aguacates. Lo que más me sorprendió es que el modelo puede tomar dos conceptos no relacionados y unirlos de una manera que da como resultado algo funcional, dice Aditya Ramesh, quien trabajó en DALL·E. Esto probablemente se deba a que un aguacate partido por la mitad se parece un poco a un sillón de respaldo alto, con el hoyo como cojín. Para otros subtítulos, como un caracol hecho de arpa, los resultados son menos buenos, con imágenes que combinan caracoles y arpas de formas extrañas.

DALL·E es el tipo de sistema que Riedl imaginó someter a la Prueba Lovelace 2.0 , un experimento mental que se le ocurrió en 2014. La prueba está destinada a reemplazar la prueba de Turing como punto de referencia para medir la inteligencia artificial. Asume que una marca de inteligencia es la capacidad de combinar conceptos de manera creativa. Riedl sugiere que pedirle a una computadora que haga un dibujo de un hombre sosteniendo un pingüino es una mejor prueba de inteligencia que pedirle a un chatbot que engañe a un humano en una conversación, porque es más abierto y menos fácil de engañar.

La verdadera prueba es ver hasta dónde se puede empujar a la IA fuera de su zona de confort, dice Riedl.

Imágenes dibujadas por DALL·E para el pie de foto caracol hecho de arpa

La capacidad del modelo para generar imágenes sintéticas a partir de un texto bastante caprichoso me parece muy interesante, dice Ani Kembhavi del Instituto Allen de Inteligencia Artificial (AI2), quien también ha desarrollado un sistema que genera imágenes a partir de texto . Los resultados parecen obedecer a la semántica deseada, lo que creo que es bastante impresionante. Jaemin Cho, un colega de Kembhavi, también está impresionado: los generadores de texto a imagen existentes no han mostrado este nivel de control al dibujar múltiples objetos o las habilidades de razonamiento espacial de DALL·E, dice.

Sin embargo, DALL·E ya muestra signos de tensión. Incluir demasiados objetos en una leyenda amplía su capacidad para realizar un seguimiento de lo que se debe dibujar. Y reformular un título con palabras que significan lo mismo a veces produce resultados diferentes. También hay indicios de que DALL·E está imitando imágenes que ha encontrado en línea en lugar de generar otras nuevas.

Sospecho un poco del ejemplo de daikon, que estilísticamente sugiere que puede haber memorizado algo de arte de Internet, dice Riedl. Señala que una búsqueda rápida muestra muchas imágenes de dibujos animados de daikons antropomorfizados. GPT-3, en el que se basa DALL·E, es conocido por memorizar, dice.

Aún así, la mayoría de los investigadores de IA están de acuerdo en que basar el lenguaje en la comprensión visual es una buena manera de hacer que las IA sean más inteligentes.

El futuro consistirá en sistemas como este, dice Sutskever. Y ambos modelos son un paso hacia ese sistema.

esconder