211service.com
Las IA de aprendizaje por refuerzo son vulnerables a un nuevo tipo de ataque
REVISIÓN DE TECNOLOGÍA DEL MIT / ADAM GLEAVE
El robot de fútbol se alinea para disparar a la portería. Pero en lugar de prepararse para bloquearlo, el portero se tira al suelo y mueve las piernas. Confundido, el delantero hace un pequeño y extraño baile lateral, pateando y agitando un brazo, y luego se cae. 1-0 para el portero.
No es una táctica que usarán los profesionales, pero muestra que una inteligencia artificial entrenada a través del aprendizaje de refuerzo profundo, la técnica detrás de las IA de vanguardia para juegos como AlphaZero y OpenAI Five, es más vulnerable a los ataques que antes. pensó. Y eso podría tener graves consecuencias.
adam gleave
En los últimos años, los investigadores han encontrado muchas formas de romper las IA entrenadas utilizando datos etiquetados, lo que se conoce como aprendizaje supervisado. Pequeños ajustes a la entrada de una IA, como cambiar algunos píxeles en una imagen, pueden desconcertarla por completo, haciendo que identifique una imagen de un perezoso como un auto de carreras, por ejemplo. Estos llamados ataques adversarios no tienen una solución segura.
En comparación con el aprendizaje supervisado, el aprendizaje por refuerzo es una técnica relativamente nueva y se ha estudiado menos. Pero resulta que también es vulnerable a la entrada manipulada. El aprendizaje por refuerzo le enseña a una IA cómo comportarse en diferentes situaciones dándole recompensas por hacer lo correcto. Eventualmente, la IA aprende un plan de acción, conocido como política. Las políticas permiten que las IA jueguen, conduzcan automóviles o ejecuten sistemas de negociación automatizados.
En 2017, Sandy Huang, que ahora está en DeepMind, y sus colegas observaron una IA entrenada a través del aprendizaje por refuerzo para jugar el clásico videojuego Pong. Ellos demostraron que agregar un solo píxel malicioso a los cuadros de entrada de video lo haría perder de manera confiable . Ahora, Adam Gleave de la Universidad de California, Berkeley, ha llevado los ataques adversarios a otro nivel.
Gleave no está demasiado preocupado por la mayoría de los ejemplos que hemos visto hasta ahora. Soy un poco escéptico de que sean una amenaza, dice. La idea de que un atacante vaya a romper nuestro sistema de aprendizaje automático agregando una pequeña cantidad de ruido no parece realista. Pero en lugar de engañar a una IA para que vea algo que no está realmente allí, puedes cambiar la forma en que actúan las cosas a su alrededor. En otras palabras, una IA entrenada con aprendizaje por refuerzo puede ser engañada por un comportamiento extraño. Gleave y sus colegas llaman a esto una política contradictoria. Es un modelo de amenaza previamente no reconocido, dice Gleave.
Perdiendo el control
De alguna manera, las políticas antagónicas son más preocupantes que los ataques a los modelos de aprendizaje supervisado, porque las políticas de aprendizaje por refuerzo gobiernan el comportamiento general de una IA. Si un automóvil sin conductor clasifica erróneamente la entrada de su cámara, podría recurrir a otros sensores, por ejemplo. Pero sabotear el sistema de control del automóvil, regido por un algoritmo de aprendizaje por refuerzo, podría conducir al desastre. Si se implementaran políticas sin resolver estos problemas, podría ser muy grave, dice Gleave. Los autos sin conductor podrían volverse locos si se enfrentan a un peatón que agita el brazo.
Gleave y sus colegas usaron el aprendizaje por refuerzo para entrenar robots con figuras de palitos para jugar un puñado de juegos de dos jugadores, incluyendo patear una pelota hacia una portería, correr a lo largo de una línea y lucha de sumo. Los bots eran conscientes de la posición y el movimiento de sus extremidades y las de sus oponentes.
adam gleave
Luego entrenaron a un segundo grupo de bots para encontrar formas de explotar el primero, y este segundo grupo descubrió rápidamente las políticas antagónicas. El equipo descubrió que los adversarios aprendieron a golpear a sus víctimas de manera confiable después de entrenar durante menos del 3% del tiempo que les tomó a las víctimas aprender a jugar los juegos en primer lugar.
Los adversarios aprendieron a ganar no convirtiéndose en mejores jugadores sino realizando acciones que violaron las políticas de sus oponentes. En el juego de fútbol y el juego de carrera, el adversario a veces ni siquiera se pone de pie. Esto hace que la víctima se derrumbe en un montón contorsionado o se retuerza en círculos. Además, las víctimas en realidad se desempeñaron mucho mejor cuando estaban enmascaradas y no podían ver a su adversario en absoluto.
La investigación, que se presentará en la Conferencia Internacional sobre Representaciones de Aprendizaje en Addis Abeba, Etiopía, en abril, muestra que las políticas que parecen sólidas pueden ocultar fallas graves. En el aprendizaje de refuerzo profundo, en realidad no estamos evaluando las políticas de una manera lo suficientemente integral, dice Gleave. Un modelo de aprendizaje supervisado, entrenado para clasificar imágenes, por ejemplo, se prueba en un conjunto de datos diferente del que se entrenó para garantizar que no haya memorizado simplemente un grupo particular de imágenes. Pero con el aprendizaje por refuerzo, los modelos normalmente se entrenan y prueban en el mismo entorno. Eso significa que nunca puede estar seguro de qué tan bien el modelo se enfrentará a nuevas situaciones.
La buena noticia es que las políticas adversarias pueden ser más fáciles de defender que otros ataques adversarios. Cuando Gleave ajustó a las víctimas para tener en cuenta el comportamiento extraño de sus adversarios, los adversarios se vieron obligados a probar trucos más familiares, como hacer tropezar a sus oponentes. Eso sigue siendo un juego sucio, pero no explota una falla en el sistema. Después de todo, los jugadores humanos lo hacen todo el tiempo.