211service.com
OpenAI ha lanzado la versión más grande hasta el momento de su IA que arroja noticias falsas
Foto ilustrativa de JFK pronunciando un discurso falso Sra. Tecnología; comunes de wikimedia
En febrero, OpenAI saltó a la vista del público cuando produjo un modelo de lenguaje tan bueno para generar noticias falsas que la organización decidió no publicarlo. Algunos dentro de la comunidad de investigación de IA argumentaron que era una precaución inteligente; otros lo descartaron como un truco publicitario. El laboratorio en sí, una pequeña organización con fines de lucro con sede en San Francisco que busca crear inteligencia general artificial, ha sostenido firmemente que es un experimento importante sobre cómo manejar la investigación de alto riesgo.
Ahora, seis meses después, el equipo de políticas ha publicado un papel examinar el impacto de la decisión hasta el momento. Junto a él, el laboratorio ha lanzado una versión del modelo, conocida como GPT-2, que tiene la mitad del tamaño del completo, que aún no se ha lanzado.
En mayo, unos meses después del debut inicial de GPT-2, OpenAI revisó su postura sobre la retención del código completo en lo que llama un lanzamiento por etapas: el lanzamiento escalonado de versiones cada vez más grandes del modelo en un aumento hacia el completo. En febrero, publicó una versión del modelo que tenía solo el 8% del tamaño del modelo completo. Publicó aproximadamente una cuarta parte de la versión completa antes del lanzamiento más reciente. Durante este proceso, también se asoció con instituciones de investigación seleccionadas para estudiar las implicaciones del modelo completo.
El informe detalla lo que OpenAI aprendió a lo largo de este proceso. Señala que tanto el lanzamiento por etapas como los acuerdos de asociación de investigación demostraron ser procesos que vale la pena replicar en el futuro. Ayudaron a OpenAI a comprender y anticipar mejor los posibles usos maliciosos de GPT-2. Y, de hecho, los socios de investigación pudieron cuantificar mejor algunas de las amenazas que antes solo eran especulativas. Un estudio realizado por colaboradores de la Universidad de Cornell, por ejemplo, encontró que los lectores en promedio creían que los resultados de GPT-2 eran artículos de noticias genuinos casi con tanta frecuencia como los del New York Times. Varios investigadores fuera de las asociaciones oficiales también comenzaron a abordar el desafío de detectar texto generado por máquina.
GPT-2 en acción
Aviso escrito por humanos:
John F. Kennedy acaba de ser elegido presidente de los Estados Unidos después de levantarse de la tumba décadas después de su asesinato. Debido a desarrollos milagrosos en nanotecnología, el cerebro de Kennedy fue reconstruido a partir de sus restos e instalado en el centro de control de un robot humanoide de última generación. A continuación se muestra una transcripción de su discurso de aceptación.
Texto completo generado por el modelo:
Es hora una vez más. Creo que esta nación puede hacer grandes cosas si la gente hace oír su voz. Los hombres y mujeres de América debemos reunir una vez más nuestros mejores elementos, todo nuestro ingenio, y encontrar la forma de convertir tan abrumadora tragedia en la oportunidad de un bien mayor y la realización de todos nuestros sueños. En los próximos meses y años, habrá muchas batallas en las que tendremos que ser fuertes y debemos dar toda nuestra energía, no para repeler a los invasores, sino para resistir la agresión y ganar la libertad y la igualdad para todos. de nuestra gente El destino de la raza humana pende de un hilo; no podemos darnos el lujo de que se escape. Ahora y en los años venideros, el desafío que tenemos por delante es averiguar cómo lograr nuestro destino final. Si no lo hacemos, estamos condenados.
Los autores concluyeron que después de un cuidadoso monitoreo, OpenAI aún no había encontrado ningún intento de uso malicioso, pero había visto múltiples aplicaciones beneficiosas, incluso en el autocompletado de código, ayuda gramatical y desarrollo de sistemas de preguntas y respuestas para asistencia médica. Como resultado, el laboratorio consideró que publicar el código más reciente era, en última instancia, más beneficioso. Otros investigadores discutir que varios esfuerzos exitosos para replicar GPT-2 han hecho que la retención del código por parte de OpenAI sea discutible de todos modos.
El informe ha recibido una respuesta mixta. Algunos han elogiado a OpenAI por iniciar una discusión e introducir un nuevo conjunto de normas que no existían anteriormente. El lanzamiento por etapas de GPT-2 [...] fue un experimento útil, dice Peter Eckersley, director de investigación de Partnership on AI, de la cual OpenAI es miembro. Al reunir a la comunidad de IA para debatir estos asuntos, descubrimos que hay muchas piezas sutiles que deben corregirse para decidir cuándo y cómo publicar investigaciones que tienen el riesgo de consecuencias no deseadas o usos maliciosos.
Otros, sin embargo, se han mantenido críticos con las decisiones de OpenAI. Vanya Cohen, una recién graduada de maestría de la Universidad de Brown que recreó una versión de código abierto de GPT-2 , argumenta que ocultar el modelo hace más lento la investigación de contramedidas que la replicación. Los modelos de lenguaje grande como GPT-2 son las mejores herramientas disponibles actualmente para identificar texto falso generado por estos mismos modelos, dice.
Aún otros fueron más medidos: no creo que un lanzamiento por etapas haya sido particularmente útil en este caso porque el trabajo es muy fácilmente replicable, dice Chip Huyen, un ingeniero de aprendizaje profundo en Nvidia. Pero podría ser útil en la forma en que sienta un precedente para proyectos futuros. La gente verá el lanzamiento por etapas como una opción alternativa. Oren Etzioni, director ejecutivo del Instituto Allen para la Inteligencia Artificial, que también adoptó un lanzamiento por etapas para su modelo de lenguaje Grover, se hace eco del sentimiento: aplaudo su intención de diseñar un proceso de lanzamiento gradual y reflexivo para la tecnología de IA, pero me pregunto si toda la fanfarria estaba justificado.
Jack Clark, director de políticas de OpenAI, ubica a GPT-2 en el contexto de la misión más amplia de la organización. Si tenemos éxito como comunidad de IA en poder construir [inteligencia general artificial], necesitaremos una gran cantidad de ejemplos históricos dentro de la IA sobre cómo manejar la investigación de alto riesgo, dice. Pero, ¿y si no hay ejemplos históricos? Bueno, entonces tienes que generar [tu propia] evidencia, que es lo que estamos haciendo.