Esto podría conducir al próximo gran avance en la IA de sentido común

Sra. Tecnología | pexels

Probablemente nos haya escuchado decir esto innumerables veces: GPT-3, la gigantesca IA que emite un lenguaje asombrosamente parecido al humano, es una maravilla. También es en gran parte a mirage . Puedes saberlo con un simple truco: Pregúntale el color de las ovejas , y lo hará sugerir negro tan a menudo como blanco, lo que refleja la frase oveja negra en nuestra lengua vernácula.

Ese es el problema con los modelos de lenguaje: debido a que solo están entrenados en texto, carecen de sentido común. Ahora, investigadores de la Universidad de Carolina del Norte, Chapel Hill, han diseñado una nueva técnica para cambiar eso. Lo llaman vokenización, y le da a los modelos de lenguaje como GPT-3 la capacidad de ver.

No es la primera vez que las personas buscan combinar modelos de lenguaje con visión artificial. Esta es en realidad un área de rápido crecimiento de la investigación de la IA. La idea es que ambos tipos de IA tengan diferentes fortalezas. Los modelos de lenguaje como GPT-3 se entrenan a través del aprendizaje no supervisado, que no requiere el etiquetado manual de datos, lo que facilita su escalado. Los modelos de imagen, como los sistemas de reconocimiento de objetos, por el contrario, aprenden más directamente de la realidad. En otras palabras, su comprensión no se basa en el tipo de abstracción del mundo que proporciona el texto. Pueden ver en las imágenes de las ovejas que, de hecho, son blancas.

Historia relacionada

Estas fotos extrañas e inquietantes muestran que la IA se está volviendo más inteligente Los modelos están aprendiendo a generar imágenes a partir de subtítulos, una señal de que están mejorando en su comprensión de nuestro mundo.

Los modelos de IA que pueden analizar tanto el lenguaje como la entrada visual también tienen usos muy prácticos. Si queremos construir asistentes robóticos, por ejemplo, necesitan visión por computadora para navegar por el mundo y lenguaje para comunicarse con los humanos.

Pero combinar ambos tipos de IA es más fácil decirlo que hacerlo. No es tan simple como unir un modelo de lenguaje existente con un sistema de reconocimiento de objetos existente. Requiere entrenar un nuevo modelo desde cero con un conjunto de datos que incluye texto e imágenes, también conocido como conjunto de datos de lenguaje visual.

El enfoque más común para curar un conjunto de datos de este tipo es compilar una colección de imágenes con leyendas descriptivas. Una imagen como la siguiente, por ejemplo, se titularía Un gato naranja sentado en la maleta listo para ser empacado. Esto difiere de los conjuntos de datos de imágenes típicos, que etiquetarían la misma imagen con un solo sustantivo, como gato. Por lo tanto, un conjunto de datos de lenguaje visual puede enseñar a un modelo de IA no solo cómo reconocer objetos, sino también cómo se relacionan y actúan entre sí, utilizando verbos y preposiciones.

Pero puede ver por qué este proceso de curación de datos llevaría una eternidad. Esta es la razón por la que los conjuntos de datos de lenguaje visual que existen son tan insignificantes. Un conjunto de datos popular de solo texto como Wikipedia en inglés (que de hecho incluye casi todas las entradas de Wikipedia en inglés) podría contener casi 3 mil millones de palabras. Un conjunto de datos de lenguaje visual como Microsoft Common Objects in Context, o MS COCO, contiene solo 7 millones. Simplemente no son suficientes datos para entrenar un modelo de IA para algo útil.

Vokenization soluciona este problema, utilizando métodos de aprendizaje no supervisados ​​para escalar la pequeña cantidad de datos en MS COCO al tamaño de Wikipedia en inglés. El modelo de lenguaje visual resultante supera a los modelos de última generación en algunas de las pruebas más difíciles utilizadas para evaluar la comprensión del lenguaje de IA en la actualidad.

No se supera la tecnología de punta en estas pruebas con solo intentarlo un poco, dice Thomas Wolf, cofundador y director científico de la empresa emergente de procesamiento de lenguaje natural Hugging Face, que no formó parte de la investigación. Esta no es una prueba de juguete. Es por eso que esto es súper emocionante.

De tokens a vokens

Primero clasifiquemos algo de terminología. ¿Qué diablos es un voken?

En lenguaje de IA, las palabras que se utilizan para entrenar modelos de lenguaje se conocen como tokens. Entonces, los investigadores de la UNC decidieron llamar voken a la imagen asociada con cada token en su modelo de lenguaje visual. Vokenizador es como llaman al algoritmo que encuentra vokens para cada token, y vocalización es como llaman a todo el proceso.

El objetivo de esto no es solo mostrar cuánto les encanta a los investigadores de IA inventar palabras. (Realmente lo hacen). También ayuda a desglosar la idea básica detrás de la vokenización. En lugar de comenzar con un conjunto de datos de imágenes y escribir oraciones manualmente para que sirvan como subtítulos, un proceso muy lento, los investigadores de la UNC comenzaron con un conjunto de datos de idioma y utilizaron el aprendizaje no supervisado para hacer coincidir cada palabra con una imagen relevante (más sobre esto más adelante). Este es un proceso altamente escalable.

La técnica de aprendizaje no supervisado, aquí, es en última instancia la contribución del artículo. ¿Cómo encuentras realmente una imagen relevante para cada palabra?

Vokenización

Volvamos por un momento a GPT-3. GPT-3 es parte de una familia de modelos de lenguaje conocidos como transformadores, que representó un gran avance en la aplicación del aprendizaje no supervisado al procesamiento del lenguaje natural cuando se presentó el primero en 2017. Los transformadores aprenden los patrones del lenguaje humano al observar cómo se escriben las palabras. utilizado en contexto y luego creando una representación matemática de cada palabra, conocida como incrustación de palabras, basada en ese contexto. La incrustación de la palabra gato podría mostrar, por ejemplo, que se usa con frecuencia alrededor de las palabras maullido y naranja, pero con menos frecuencia alrededor de las palabras ladrido o azul.

Así es como los transformadores aproximan los significados de las palabras y cómo GPT-3 puede escribir oraciones tan humanas. Se basa en parte en estas incrustaciones para decirle cómo ensamblar palabras en oraciones y oraciones en párrafos.

Hay una técnica paralela que también se puede usar para imágenes. En lugar de escanear texto en busca de patrones de uso de palabras, escanea imágenes en busca de patrones visuales. Tabula la frecuencia con la que un gato, por ejemplo, aparece en una cama en comparación con un árbol, y crea un gato incrustado con esta información contextual.

La idea de los investigadores de la UNC fue que deberían usar ambas técnicas de incrustación en MS COCO. Convirtieron las imágenes en incrustaciones visuales y los subtítulos en incrustaciones de palabras. Lo que es realmente bueno acerca de estas incrustaciones es que luego se pueden graficar en un espacio tridimensional, y puedes ver literalmente cómo se relacionan entre sí. Las incrustaciones visuales que están estrechamente relacionadas con las incrustaciones de palabras aparecerán más cerca en el gráfico. En otras palabras, la incrustación de gato visual debería (en teoría) superponerse con la incrustación de gato basada en texto. Muy genial.

Puedes ver a dónde va esto. Una vez que todas las incrustaciones están graficadas, comparadas y relacionadas entre sí, es fácil comenzar a unir imágenes (vokens) con palabras (tokens). Y recuerda, debido a que las imágenes y las palabras se combinan en función de sus incrustaciones, también se combinan en función del contexto. Esto es útil cuando una palabra puede tener significados totalmente diferentes. La técnica lo maneja con éxito al encontrar diferentes vocales para cada instancia de la palabra.

Por ejemplo:

Aquí está ella contacto.

Algunos gatos aman a los humanos contacto .

El token es la palabra contacto en ambos ejemplos. Pero en la primera oración, el contexto sugiere que la palabra se refiere a información de contacto, por lo que la voz es el ícono de contacto. En la segunda oración, el contexto sugiere que la palabra se refiere a tocar, por lo que el voken muestra a un gato siendo acariciado.

Los investigadores utilizaron las incrustaciones visuales y de palabras que crearon con MS COCO para entrenar su algoritmo de vokenizer. Una vez entrenado, el vokenizer pudo encontrar vokens para los tokens en Wikipedia en inglés. no es perfecto El algoritmo solo encontró vokens para aproximadamente el 40% de los tokens. Pero eso sigue siendo el 40% de un conjunto de datos con casi 3 mil millones de palabras.

Con este nuevo conjunto de datos, los investigadores volvieron a entrenar un modelo de lenguaje conocido como BERT, un transformador de código abierto desarrollado por Google que es anterior a GPT-3. Luego probaron el BERT nuevo y mejorado en seis pruebas de comprensión de idiomas diferentes, incluido SQuAD, el conjunto de datos de respuesta a preguntas de Stanford, que pide a los modelos que respondan preguntas de comprensión de lectura sobre una serie de artículos, y SWAG, que intenta hacer tropezar a los modelos con sutilezas de el idioma inglés para probar si es simplemente imitar y memorizar. El BERT mejorado funcionó mejor en todos ellos, lo que Wolf dice que no es nada despreciable.

Los investigadores, Hao Tan, estudiante de doctorado, y Mohit Bansal, su asesor, presentarán su nueva técnica de vocalización dentro de dos semanas en la Conferencia sobre métodos empíricos en el procesamiento del lenguaje natural. Si bien el trabajo aún es temprano, Wolf ve su trabajo como un avance conceptual importante para lograr que el aprendizaje sin supervisión funcione para los modelos de lenguaje visual. Fue una chispa similar que ayudó a avanzar dramáticamente el procesamiento del lenguaje natural en el pasado.

En PNL, tuvimos este gran avance hace más de dos años, y luego, de repente, PNL era un campo en el que sucedían muchas cosas y se adelantó a todos los demás campos de IA, dice. Pero tenemos este problema de conectar el texto con otras cosas. Entonces es como este robot que solo puede hablar pero no puede ver, no puede oír.

Este paper es un ejemplo donde lograron conectarlo a otra modalidad y funciona mejor , él dice. Podría imaginar que tal vez algunas de estas técnicas podrían reutilizarse cuando desee aprovechar este modelo de lenguaje realmente poderoso en un robot. Tal vez use lo mismo para conectar los sentidos del robot al texto.

esconder