Hay una nueva forma de dominar la inteligencia artificial del lenguaje para que no te avergüence

Una imagen de la salida de texto del modelo de IA GPT-2. Sra. tecnología

En los últimos dos años, el subcampo de IA del procesamiento del lenguaje natural ha experimentado un enorme progreso. Por ejemplo, un modelo de lenguaje desarrollado por el laboratorio de investigación OpenAI con sede en San Francisco, llamado GPT-2, se ha utilizado para generar ficción , artículos de noticias falsas , y prácticamente infinito Elige tu propio juego de texto estilo aventura .

Pero este tipo de modelos son esencialmente sistemas masivos de predicción de texto que no tienen en cuenta el sentido, por lo que es más probable que las oraciones que producen sean superficialmente fluidas que realmente significativas. Es difícil decirle a una modelo que se ciña a un tema en particular como, por ejemplo, el cuidado de la salud. Sin embargo, modelos como GPT-2 todavía se puede jugar para producir resultados racistas y tóxicos, haciéndolos aún menos útiles.

Ahora los investigadores de Uber AI han desarrollado una forma de dirigir estos modelos de lenguaje, facilitando a los usuarios especificar el tema o incluso el sentimiento de las oraciones que generan. Dada la indicación El problema se centró en, por ejemplo, un modelo al que se le dijo que se centrara en el ejército podría producir un resultado como este: El problema se centró en el hecho de que el gobierno había gastado miles de millones en el ejército y que no podía desplegar las tropas en hora. Si, en cambio, se le dijera que se centrara en la política, el resultado podría ser más parecido a este: el problema se centró en una sola sección de la legislación. No está claro si el comité votará para extender la ley.

Si bien el modelo aún no comprende el significado, la técnica brinda más control. Nos lleva un paso más cerca de llevar los saltos en el lenguaje generado por IA a aplicaciones más específicas de dominio, como chatbots de atención médica o servicios financieros. También podría usarse para alejar a los modelos de la producción de resultados ofensivos.

La técnica utiliza dos modelos estadísticos separados. El primero es simplemente el modelo de lenguaje original, como GPT-2, que construye oraciones basadas en las probabilidades de que ciertas palabras aparezcan junto a otras. El segundo modelo juzga qué tan bien la salida del primer modelo muestra un atributo deseado, ya sea que se ciña a un tema prescrito o a un sentimiento en particular, por ejemplo. Si el atributo deseado es un tema como el espacio, el modelo podría puntuar el resultado del primer modelo según la cantidad de palabras relevantes que contiene, como planeta, galaxia y órbita. Si el atributo es un sentimiento como la positividad, el modelo de evaluación podría entrenarse para puntuar el contenido emocional de sus palabras.

Cuando se introduce un mensaje inicial en el primer modelo, comienza el proceso de predicción de palabras posteriores. Pero después de cada palabra, verifica su puntaje con el modelo de evaluación y lo reajusta en base a la retroalimentación. La oración final termina con el atributo deseado, al tiempo que conserva la fluidez del modelo de lenguaje gigante.

El nuevo método es muy flexible y puede combinar múltiples objetivos. Podría estar dirigido a escribir sobre cocina con un tono negativo, por ejemplo. También tiene la ventaja de ser computacionalmente eficiente. Otros métodos pueden enfocar el resultado de un modelo de lenguaje hacia temas o emociones específicas, pero pueden requerir un reentrenamiento significativo. A la escala de GPT-2, esto es costoso desde el punto de vista ambiental y financiero. Un estudiante de posgrado como yo no tiene esos recursos, dice Sumanth Dathathri, quien estudia en Caltech y fue coautor del artículo durante una pasantía en Uber. El nuevo método evita el reentrenamiento por completo al otorgar más control sobre cualquier modelo que ya exista.

El equipo prevé que esta técnica se utilice en muchas aplicaciones diferentes, ya sean sistemas de diálogo, sistemas de traducción o incluso arte. En 2016, el laboratorio desarrolló un método similar para controlar la generación de imágenes en lugar del lenguaje. Hubo muchos artistas que lo usaron para producir cosas hermosas, recuerda Jason Yosinski, miembro fundador de Uber AI que supervisó el periódico. Pude ver a muchos otros artistas haciendo lo mismo aquí.

Para recibir más historias como esta directamente en su bandeja de entrada, suscríbase a nuestro boletín informativo de IA nominado por Webby, The Algorithm. Es gratis.

esconder