El software que intercambia palabras ahora puede engañar a la IA detrás de Alexa y Siri

Categoría: Inteligencia artificial Al corriente Feb 07

Las noticias: El software llamado TextFooler puede engañar a los sistemas de procesamiento de lenguaje natural (NLP) para que malinterpreten el texto simplemente reemplazando ciertas palabras en una oración con sinónimos. En las pruebas, fue capaz de reducir drásticamente la precisión de tres sistemas NLP de última generación. Por ejemplo, la poderosa red neuronal BERT de Google fue peor por un factor de cinco a siete al identificar si las reseñas en Yelp eran positivas o negativas.

Probaron el ataque en sistemas NLP entrenados para realizar tareas como identificar temas de noticias, detectar noticias falsas y analizar sentimientos. En todos los casos, la IA empeoró significativamente .

Cómo funciona: El software, desarrollado por un equipo del MIT, busca las palabras en una oración que son más importantes para un clasificador de PNL y las reemplaza con un sinónimo que un ser humano encontraría natural. Por ejemplo, cambiar la oración Los personajes, presentados en situaciones imposiblemente diseñadas, están totalmente alejados de la realidad a Los personajes, presentados en circunstancias imposiblemente diseñadas, están completamente alejados de la realidad no hace una diferencia real en cómo lo leemos. Pero los ajustes hicieron que una IA interpretara las oraciones de manera completamente diferente.

Por qué importa: Hemos visto muchos ejemplos de tales ataques adversarios, la mayoría de las veces con sistemas de reconocimiento de imágenes, donde pequeñas alteraciones en la entrada pueden desconcertar a una IA y hacer que clasifique erróneamente lo que ve. TextFooler muestra que este estilo de ataque también rompe NLP, la IA detrás de los asistentes virtuales, como Siri, Alexa y Google Home, así como otros clasificadores de idiomas como filtros de spam y detectores de discursos de odio. Los investigadores dicen que herramientas como TextFooler pueden ayudar a que los sistemas NLP sean más robustos, al revelar sus debilidades.