Cómo podemos protegernos de la IA maliciosa

Un diagrama que muestra una imagen de un panda, más una imagen de algún ruido, lo que equivale a una imagen de un panda mal identificado como un gibón. Foto del panda: flickr.com / Gabriele Gherardi

Hemos abordado anteriormente el concepto de ejemplos contradictorios: la clase de pequeños cambios que, cuando se introducen en un modelo de aprendizaje profundo, hacen que se comporte mal. En marzo, cubrimos la charla de la profesora de UC Berkeley, Dawn Song, en nuestra conferencia anual EmTech Digital sobre cómo usó calcomanías para engañar a un automóvil autónomo para que pensara que una señal de alto era una señal de 45 millas por hora, y cómo usó calcomanías personalizadas. mensajes para hacer que un modelo basado en texto arroje información confidencial como números de tarjetas de crédito. En abril, hablamos de manera similar sobre cómo los piratas informáticos de sombrero blanco usaron calcomanías para confundir al Autopilot de Tesla para que dirigiera un automóvil hacia el tráfico que se aproximaba.

En los últimos años, a medida que los sistemas de aprendizaje profundo se han generalizado cada vez más en nuestras vidas, los investigadores han demostrado cómo los ejemplos contradictorios pueden afectar todo, desde simples clasificadores de imagen a sistemas de diagnostico de cancer , lo que lleva a consecuencias que van desde lo benigno hasta lo que amenaza la vida. A pesar de su peligro, sin embargo, los ejemplos contradictorios son mal entendidos. Y los investigadores se han preocupado por cómo, o incluso si, se puede resolver el problema.

A nuevo papel del MIT ahora apunta hacia un posible camino para superar este desafío. Podría permitirnos crear modelos de aprendizaje profundo mucho más robustos que serían mucho más difíciles de manipular de manera maliciosa. Para comprender su significado, primero revisemos los conceptos básicos de los ejemplos contradictorios.

Como hemos señalado muchas veces antes, el poder del aprendizaje profundo proviene de su excelente capacidad para reconocer patrones en los datos. Alimente una red neuronal con decenas de miles de fotos de animales etiquetados y aprenderá qué patrones están asociados con un panda y qué patrones están asociados con un mono. Luego puede usar esos patrones para identificar nuevas imágenes de animales que nunca antes había visto.

Pero los modelos de aprendizaje profundo también son frágiles. Debido a que un sistema de reconocimiento de imágenes se basa solo en patrones de píxeles en lugar de una comprensión conceptual más profunda de lo que ve, es fácil engañar al sistema para que vea algo completamente diferente, simplemente alterando los patrones de la manera correcta. Aquí hay un ejemplo clásico: agregue un poco de ruido a la imagen de un panda y un sistema lo clasificará como un gibón con casi un 100% de confianza. El ruido, aquí, es el ataque del adversario.

Ian Goodfellow y otros/OpenAI

Desde hace algunos años, los investigadores han observado este fenómeno, particularmente en los sistemas de visión por computadora, sin saber realmente cómo deshacerse de tales vulnerabilidades. De hecho, un documento presentado la semana pasada en la importante conferencia de investigación de IA ICLR cuestionó si los ataques adversarios son inevitables . Parecería que no importa cuántas imágenes de panda alimentes a un clasificador de imágenes, siempre habrá algún tipo de perturbación que puedes diseñar para desequilibrar el sistema.

Pero el nuevo artículo del MIT demuestra que hemos estado pensando mal en los ataques adversarios. En lugar de pensar en formas de acumular más y mejores datos de entrenamiento para alimentar nuestro sistema, deberíamos repensar fundamentalmente la forma en que abordamos el entrenamiento.

Mostró esto al identificar una propiedad bastante interesante de los ejemplos contradictorios que nos ayuda a comprender por qué son tan efectivos. El ruido aparentemente aleatorio o las pegatinas que provocan clasificaciones erróneas en realidad explotan patrones minúsculos muy precisos que el sistema de imágenes ha aprendido a asociar fuertemente con objetos específicos. En otras palabras, la máquina no se está portando mal cuando ve un gibón donde nosotros vemos un panda. De hecho, es ver un patrón de píxeles, imperceptible para los humanos, que ocurrió con mucha más frecuencia en las fotos de gibones que en las fotos de pandas durante el entrenamiento.

Los investigadores ilustraron esto mediante la realización de un experimento: crearon un conjunto de datos de imágenes de perros que habían sido modificadas en pequeñas formas que harían que un clasificador de imágenes estándar los identificara erróneamente como gatos. Luego etiquetaron erróneamente las imágenes como gatos y las usaron para entrenar una nueva red neuronal desde cero. Después del entrenamiento, le mostraron a la red neuronal imágenes reales de gatos, y los identificó correctamente a todos como gatos.

Lo que eso sugirió a los investigadores es que en cada conjunto de datos hay dos tipos de correlaciones: patrones que Realmente se correlacionan con el significado de los datos, como los bigotes en una imagen de gato o las coloraciones del pelaje en una imagen de panda, y patrones que existen dentro de los datos de entrenamiento pero que no se generalizan a otros contextos. Estas últimas correlaciones engañosas, como las llamaremos, son las que se explotan en los ataques adversarios. En el diagrama anterior, por ejemplo, el ataque aprovecha un patrón de píxeles falsamente correlacionado con gibones al enterrar esos píxeles imperceptibles dentro de la imagen del panda. El sistema de reconocimiento, entrenado para reconocer el patrón engañoso, lo capta y asume que está mirando un gibón.

Esto nos dice que si queremos eliminar el riesgo de ataques adversarios, debemos cambiar la forma en que entrenamos a nuestros modelos. Actualmente, dejamos que la red neuronal elija las correlaciones que quiera usar para identificar objetos en una imagen. Pero como resultado, no tenemos control sobre las correlaciones que encuentra y si son reales o engañosas. Si, en cambio, entrenáramos a nuestros modelos para recordar solo los patrones reales, aquellos realmente vinculados al significado de los píxeles, teóricamente sería posible producir sistemas de aprendizaje profundo que no puedan pervertirse de esta manera para causar daño.

Cuando los investigadores probaron esta idea utilizando solo correlaciones reales para entrenar su modelo, de hecho mitigó la vulnerabilidad del modelo: se manipuló con éxito solo el 50 % de las veces, mientras que un modelo entrenado con correlaciones reales y falsas podría manipularse 95 % del tiempo.

Dicho de otra manera, parece que los ejemplos contradictorios no son inevitables. Pero necesitamos más investigación para eliminarlos por completo.

Esta historia apareció originalmente en nuestro boletín de inteligencia artificial nominado por Webby, The Algorithm. Para recibir más historias como esta directamente en su bandeja de entrada, regístrese aquí. Es gratis.

esconder