211service.com
¿Cuánto tiempo pasará antes de que los sistemas de IA sean pirateados de nuevas formas creativas?
Las empresas están adoptando las últimas técnicas de inteligencia artificial a un ritmo vertiginoso. En poco tiempo, los piratas informáticos también podrían comenzar a observar más de cerca y podrían causar todo tipo de problemas al engañar a estos sistemas con datos ilusorios.
Hablando en una reciente conferencia de IA en Barcelona, España, Ian Goodfellow, científico investigador de OpenAI que ha realizado un trabajo pionero en engañar a los sistemas de aprendizaje automático, dijo que atacar los sistemas es fácil. Casi cualquier cosa mala que pueda pensar en hacerle a un modelo de aprendizaje automático se puede hacer ahora mismo, dijo. Y defenderlo es muy, muy difícil.
En los últimos años, los investigadores han demostrado varias formas en que los programas de aprendizaje automático pueden manipularse explotando su propensión a detectar patrones en los datos. Son vulnerables, en parte, porque carecen de inteligencia real. Por ejemplo, es posible utilizar una valla publicitaria para engañar a los sistemas de visión de los vehículos autónomos para que vean cosas que no existen. Las señales inaudibles pueden engañar a los asistentes controlados por voz para que realicen acciones no deseadas, como visitar un sitio web y descargar un programa malicioso.
Goodfellow y otros están desarrollando contramedidas. Es posible entrenar un sistema de aprendizaje automático para reconocer y luego ignorar ejemplos engañosos. Pero es complicado protegerse contra todos los ataques posibles.
Engañar a los sistemas de aprendizaje automático puede convertirse en algo más que un ejercicio académico. Esto es muy real, dice Patrick McDaniel, profesor de la Universidad Estatal de Pensilvania que ha explorado el tema. Los sistemas de aprendizaje automático están impulsando todo tipo de funciones que los adversarios podrían monetizar, por lo que los atacantes organizados y sofisticados aceptarán estos ataques.
McDaniel señala que los piratas informáticos han estado burlando los sistemas de aprendizaje automático durante años. Los spammers, por ejemplo, han alimentado algoritmos de aprendizaje con correos electrónicos falsos para permitir que los mensajes de spam pasen más tarde. Él dice que puede que no pase mucho tiempo antes de que surjan ataques más sofisticados.
Los primeros ataques llegarán muy pronto contra los sistemas de clasificación en línea, dice McDaniel. Esto podría incluir filtros de spam modernos, sistemas diseñados para detectar material ilícito o protegido por derechos de autor y sistemas avanzados de seguridad informática basados en aprendizaje automático.
Un nuevo artículo sugiere que el problema podría estar más extendido de lo que se sabía anteriormente. Muestra que ciertos engaños pueden reutilizarse contra diferentes sistemas de aprendizaje automático, o incluso contra un gran sistema de caja negra sobre el cual un atacante no tiene conocimiento previo.
Los errores que acechan en estas populares herramientas de aprendizaje automático podrían proporcionar otra forma de atacarlos. Las nuevas herramientas de aprendizaje automático se están desarrollando a un ritmo rápido y, a menudo, se lanzan de forma gratuita en línea antes de emplearse en servicios activos como el reconocimiento de imágenes o las herramientas de análisis del lenguaje natural.
Hablando en la misma conferencia en España, Octavian Suciu, estudiante de doctorado en la Universidad de Maryland, destacó una serie de vulnerabilidades de este tipo en algunas herramientas populares. Suciu analizó el código fuente de estos programas y descubrió que podía manipularse. Encontró problemas con la forma en que algunas herramientas almacenan información en la memoria, lo que significa que alimentar una gran cantidad de datos podría sobrescribir parte del programa, cambiando su comportamiento.
Suciu especula que el enfoque podría proporcionar una forma práctica de manipular, por ejemplo, una herramienta que ofrece predicciones de acciones, que luego podría usarse para vender en corto en el mercado. Si [un modelo] te dice que la acción subirá, podrías cambiar la predicción para decir que bajaría, dice.