211service.com
Facebook quiere mejorar la IA pidiéndole a la gente que la rompa
Yatheesh Gowda / Pixabay
Los éxitos explosivos de la IA en la última década generalmente se atribuyen a una gran cantidad de datos y una gran cantidad de poder de cómputo. Pero los puntos de referencia también juegan un papel crucial en el impulso del progreso: pruebas con las que los investigadores pueden comparar su IA para ver qué tan avanzada está. Por ejemplo, ImageNet, un conjunto de datos públicos de 14 millones de imágenes, establece un objetivo para el reconocimiento de imágenes. MNIST hizo lo mismo para el reconocimiento de escritura a mano y GLUE (Evaluación general de comprensión del lenguaje) para el procesamiento del lenguaje natural, lo que condujo a un avance modelos de lenguaje como GPT-3 .
Un objetivo fijo pronto es superado. ImageNet se está actualizando y GLUE ha sido reemplazado por SuperGLUE, un conjunto de tareas lingüísticas más difíciles. Aún así, tarde o temprano los investigadores informarán que su IA ha alcanzado niveles sobrehumanos, superando a las personas en este o aquel desafío. Y eso es un problema si queremos que los puntos de referencia sigan impulsando el progreso.
Entonces, Facebook está lanzando un nuevo tipo de prueba que enfrenta a las IA contra los humanos que hacen todo lo posible para hacerlos tropezar. Llamado dinabench , la prueba será tan difícil como la gente elija hacerla.
Los puntos de referencia pueden ser muy engañosos, dice Douwe Kiela de Facebook AI Research, quien dirigió el equipo detrás de la herramienta. Centrarse demasiado en los puntos de referencia puede significar perder de vista los objetivos más amplios. La prueba puede convertirse en la tarea.
Terminas con un sistema que es mejor en la prueba que los humanos, pero no mejor en la tarea general, dice. Es muy engañoso, porque hace que parezca que estamos mucho más lejos de lo que realmente estamos.
Kiela cree que ese es un problema particular con la PNL en este momento. Un modelo de lenguaje como GPT-3 parece inteligente porque es muy bueno para imitar el lenguaje. Pero es difícil decir cuánto entienden realmente estos sistemas.
Piensa en tratar de medir la inteligencia humana, dice. Puedes hacerles pruebas de coeficiente intelectual a las personas, pero eso no te dice si realmente entienden un tema. Para hacer eso necesitas hablar con ellos, hacer preguntas.
Dynabench hace algo similar, utilizando personas para interrogar a las IA. Lanzado en línea hoy, invita a las personas a visitar el sitio web y cuestionar a los modelos detrás de él. Por ejemplo, puede darle a un modelo de lenguaje una página de Wikipedia y luego hacerle preguntas, calificando sus respuestas.
De alguna manera, la idea es similar a la forma en que las personas ya están jugando con GPT-3, probando sus límites, o la forma en que se evalúan los chatbots para el Premio Loebner, un concurso en el que los bots intentan hacerse pasar por humanos. Pero con Dynabench, las fallas que surjan durante las pruebas se retroalimentarán automáticamente a los modelos futuros, haciéndolos mejores todo el tiempo.
Por ahora, Dynabench se centrará en los modelos de lenguaje porque son uno de los tipos de IA más fáciles para que los humanos interactúen. Todo el mundo habla un idioma, dice Kiela. No necesita ningún conocimiento real de cómo romper estos modelos.
Pero el enfoque también debería funcionar para otros tipos de redes neuronales, como los sistemas de reconocimiento de voz o imagen. Solo necesitaría una forma para que las personas carguen sus propias imágenes, o que dibujen cosas, para probarlo, dice Kiela: la visión a largo plazo para esto es abrirlo para que cualquiera pueda desarrollar su propio modelo y comenzar a recopilar sus propios datos.
Queremos convencer a la comunidad de IA de que hay una mejor manera de medir el progreso, agrega. Con suerte, dará como resultado un progreso más rápido y una mejor comprensión de por qué los modelos de aprendizaje automático aún fallan.