211service.com
Una IA para generar noticias falsas también podría ayudar a detectarlas
Hendrik Strobelt y Sebastian Gehrmann
El mes pasado, OpenAI retuvo de manera bastante dramática el lanzamiento de su modelo de lenguaje más nuevo, GPT-2, porque temía que pudiera usarse para automatizar la producción masiva de información errónea. La decisión también aceleró la discusión en curso de la comunidad de IA sobre cómo detectar este tipo de noticias falsas. en un nuevo experimentar , los investigadores del MIT-IBM Watson AI Lab y HarvardNLP consideraron si los mismos modelos de lenguaje que pueden escribir una prosa tan convincente también pueden detectar otros pasajes generados por modelos.
La idea detrás de esta hipótesis es simple: los modelos de lenguaje producen oraciones al predecir la siguiente palabra en una secuencia de texto. Entonces, si pueden predecir fácilmente la mayoría de las palabras en un pasaje determinado, es probable que haya sido escrito por uno de ellos.
Los investigadores probaron su idea construyendo un herramienta interactiva basado en la versión degradada de acceso público de GPT-2 de OpenAI. Cuando alimenta la herramienta con un pasaje de texto, resalta las palabras en verde, amarillo o rojo para indicar una menor facilidad de previsibilidad; los resalta en púrpura si no los hubiera predicho en absoluto. En teoría, cuanto mayor sea la fracción de palabras rojas y moradas, mayor será la posibilidad de que el pasaje haya sido escrito por un humano; cuanto mayor sea la proporción de palabras verdes y amarillas, más probable es que haya sido escrito por un modelo de lenguaje.
Un pasaje de comprensión de lectura de una prueba estandarizada de EE. UU., escrito por un humano. Hendrik Strobelt y Sebastian Gehrmann
Un pasaje escrito por el GPT-2 degradado de OpenAI. Hendrik Strobelt y Sebastian Gehrmann
De hecho, los investigadores encontraron que los pasajes escritos por las versiones degradadas y completas de GPT-2 aparecían casi completamente en verde y amarillo, mientras que los resúmenes científicos escritos por humanos y el texto de los pasajes de comprensión de lectura en las pruebas estandarizadas de EE. UU. tenían mucho rojo y púrpura.
Pero no tan rápido. Janelle Shane, investigadora que dirige el popular blog Dejar que las redes neuronales sean raras y que no participó en la investigación inicial, puso la herramienta a un nivel más prueba rigurosa . En lugar de solo alimentarlo con texto generado por GPT-2, también lo alimentó con pasajes escritos por otros modelos de lenguaje, incluido uno entrenado en reseñas de Amazon y otro entrenado en biografías de Dungeons and Dragons. Descubrió que la herramienta no pudo predecir una gran parte de las palabras en cada uno de estos pasajes y, por lo tanto, asumió que estaban escritas por humanos. Esto identifica una idea importante: un modelo de lenguaje puede ser bueno para detectar su propia salida, pero no necesariamente la salida de otros.
Esta historia apareció originalmente en nuestro boletín informativo de IA El Algoritmo. Para recibirlo directamente en su bandeja de entrada, regístrese aquí de forma gratuita.