211service.com
Cómo el aprendizaje automático malévolo podría descarrilar la IA
jeremy portje
La inteligencia artificial no revolucionará nada si los piratas informáticos pueden meterse con ella.
Esa es la advertencia de Canción del amanecer , profesor de UC Berkeley que se especializa en estudiar los riesgos de seguridad relacionados con la IA y el aprendizaje automático.
Hablando en EmTech Digital, un evento en San Francisco producido por MIT Technology Review, Song advirtió que las nuevas técnicas para sondear y manipular sistemas de aprendizaje automático, conocidas en el campo como métodos de aprendizaje automático antagónicos, podrían causar grandes problemas para cualquiera que busque aprovechar la tecnología. El poder de la IA en los negocios.
Song dijo que el aprendizaje automático adversario podría usarse para atacar casi cualquier sistema basado en la tecnología.
Es un gran problema, le dijo a la audiencia. Tenemos que unirnos para arreglarlo.
El aprendizaje automático antagónico implica alimentar experimentalmente la entrada en un algoritmo para revelar la información con la que se ha entrenado, o distorsionar la entrada de una manera que hace que el sistema se comporte mal. Al ingresar muchas imágenes en un algoritmo de visión por computadora, por ejemplo, es posible aplicar ingeniería inversa a su funcionamiento y garantizar ciertos tipos de resultados, incluidos los incorrectos.
Song presentó varios ejemplos de trucos de aprendizaje por confrontación que su grupo de investigación ha explorado.
Un proyecto, realizado en colaboración con Google, implicó probar algoritmos de aprendizaje automático capacitados para generar respuestas automáticas a partir de mensajes de correo electrónico (en este caso, el Conjunto de datos de correo electrónico de Enron ). El esfuerzo demostró que al crear los mensajes correctos, es posible que el modelo de la máquina arroje datos confidenciales, como números de tarjetas de crédito. Google utilizó los hallazgos para evitar que Smart Compose, la herramienta que genera automáticamente texto en Gmail, sea explotada.
Otro proyecto consistía en modificar las señales de tráfico con unas pocas pegatinas de aspecto inocuo para engañar a los sistemas de visión artificial que se utilizan en muchos vehículos. En una demostración en video, Song mostró cómo se podía engañar al automóvil para que pensara que una señal de alto en realidad dice que el límite de velocidad es de 45 millas por hora. Esto podría ser un gran problema para un sistema de conducción automatizado que se basa en dicha información.
El aprendizaje automático adversario es un área de creciente interés para los investigadores de aprendizaje automático. En los últimos dos años, otros grupos de investigación han demostrado cómo las API de aprendizaje automático en línea pueden probarse y explotarse para idear formas de engañarlas o revelar información confidencial.
Como era de esperar, el aprendizaje automático adversario también es de gran interés para la comunidad de defensa. Con un número creciente de sistemas militares, incluidos los sistemas de detección y armas, que aprovechan el aprendizaje automático, existe un gran potencial para que estas técnicas se utilicen tanto defensiva como ofensivamente.
Este año, el brazo de investigación del Pentágono, DARPA, lanzó un proyecto importante llamado Garantizar la solidez de la IA contra el engaño (GARD), cuyo objetivo es estudiar el aprendizaje automático adverso. hava siegelmann , director del programa GARD, dijo recientemente a MIT Technology Review que el objetivo de este proyecto era desarrollar modelos de IA que sean robustos frente a una amplia gama de ataques adversarios, en lugar de simplemente defenderse de ataques específicos.