La inteligencia artificial militar puede ser fácilmente y peligrosamente engañada

Una tortuga y un rifle. imágenes falsas

En marzo pasado, investigadores chinos anunciaron un ataque ingenioso y potencialmente devastador contra uno de los activos tecnológicos más preciados de Estados Unidos: un automóvil eléctrico Tesla.

El equipo, del laboratorio de seguridad del gigante tecnológico chino Tencent, demostró varias formas de engañar a los algoritmos de inteligencia artificial en el automóvil de Tesla. Al alterar sutilmente los datos alimentados a los sensores del automóvil, los investigadores pudieron engañar y desconcertar a la inteligencia artificial que hace funcionar el vehículo.

Esta historia fue parte de nuestra edición de noviembre de 2019

• Ver el resto del número
• Suscribir

En un caso, la pantalla de un televisor contenía un patrón oculto que engañó a los limpiaparabrisas para que se activaran. En otro, las marcas de los carriles en la carretera se modificaron muy levemente para confundir al sistema de conducción autónomo de modo que pasara por encima de ellos y entrara en el carril para el tráfico que se aproximaba.

Los algoritmos de Tesla normalmente son brillantes para detectar gotas de lluvia en un parabrisas o seguir las líneas en la carretera, pero funcionan de una manera que es fundamentalmente diferente a la percepción humana. Eso hace que los algoritmos de aprendizaje profundo, que están arrasando rápidamente en diferentes industrias para aplicaciones como el reconocimiento facial y el diagnóstico de cáncer, sean sorprendentemente fáciles de engañar si encuentra sus puntos débiles.

Desviar a un Tesla podría no parecer una amenaza estratégica para Estados Unidos. Pero, ¿qué pasaría si se usaran técnicas similares para engañar a los drones de ataque, o al software que analiza imágenes satelitales, para que vean cosas que no están allí o no vean cosas que sí están?

Recopilación de inteligencia artificial

En todo el mundo, la IA ya se considera la próxima gran ventaja militar.

A principios de este año, EE. UU. anunció una gran estrategia para aprovechar la inteligencia artificial en muchas áreas de las fuerzas armadas, incluido el análisis de inteligencia, la toma de decisiones, la autonomía de los vehículos, la logística y el armamento. El presupuesto propuesto de $ 718 mil millones del Departamento de Defensa para 2020 asigna $ 927 millones para IA y aprendizaje automático. Los proyectos existentes incluyen lo bastante mundano (probar si la IA puede predecir cuándo los tanques y los camiones necesitan mantenimiento), así como cosas de vanguardia en tecnología de armas (enjambres de drones).

El impulso de la IA del Pentágono se debe en parte al temor a la forma en que los rivales podrían usar la tecnología. El año pasado, Jim Mattis, entonces secretario de Defensa, envió un memorando al presidente Donald Trump advirtiendo que EE. UU. ya se está quedando atrás en lo que respecta a la IA. Su preocupación es comprensible.

En julio de 2017, China articuló su estrategia de IA y declaró que los principales países desarrollados del mundo están considerando el desarrollo de la IA como una estrategia importante para mejorar la competitividad nacional y proteger la seguridad nacional. Y unos meses más tarde, Vladimir Putin de Rusia declaró siniestramente: Quien se convierta en el líder en la esfera [de la IA] se convertirá en el gobernante del mundo.

La ambición de construir las armas más inteligentes y mortíferas es comprensible, pero como muestra el truco de Tesla, un enemigo que sepa cómo funciona un algoritmo de IA podría volverlo inútil o incluso volverlo contra sus dueños. El secreto para ganar las guerras de la IA podría residir no en fabricar las armas más impresionantes, sino en dominar la inquietante traición del software.

robots de batalla

En un día brillante y soleado del verano pasado en Washington, DC, Michael Kanaan estaba sentado en la cafetería del Pentágono, comiendo un sándwich y maravillado con un nuevo y poderoso conjunto de algoritmos de aprendizaje automático.

Unas semanas antes, Kanaan había visto un videojuego en el que cinco algoritmos de IA trabajaban juntos para casi superar en maniobras, armas y astucia a cinco humanos en un concurso que implicaba el control de fuerzas, campamentos y recursos en un campo de batalla complejo y extenso. Sin embargo, la ceja debajo del cabello rubio recortado de Kanaan estaba fruncida mientras describía la acción. Fue una de las demostraciones más impresionantes de la estrategia de IA que jamás había visto, un desarrollo inesperado similar a los avances de la IA en el ajedrez, Atari y otros juegos.

El juego de guerra había tenido lugar dentro de Dota 2, un popular videojuego de ciencia ficción que es increíblemente desafiante para las computadoras. Los equipos deben defender su territorio mientras atacan los campamentos de sus oponentes en un entorno que es más complejo y engañoso que cualquier juego de mesa. Los jugadores pueden ver solo una pequeña parte de la imagen completa, y puede tomar alrededor de media hora determinar si una estrategia es ganadora.

Los combatientes de IA no fueron desarrollados por el ejército sino por OpenAI, una compañía creada por los peces gordos de Silicon Valley, incluidos Elon Musk y Sam Altman, para realizar investigaciones fundamentales de IA. Los guerreros algorítmicos de la empresa, conocidos como OpenAI Five, elaboraron sus propias estrategias ganadoras a través de una práctica incansable y respondiendo con movimientos que resultaron ser los más ventajosos.

Los misiles guiados por IA podrían quedar cegados por los datos del adversario, y tal vez incluso desviarse hacia objetivos amigos.

Es exactamente el tipo de software que intriga a Kanaan, una de las personas encargadas de utilizar la inteligencia artificial para modernizar el ejército estadounidense. Para él, muestra lo que los militares pueden ganar al contar con la ayuda de los mejores investigadores de IA del mundo. Pero si están dispuestos es cada vez más cuestionado.

Kanaan fue el líder de la Fuerza Aérea en el Proyecto Maven, una iniciativa militar destinada a utilizar la IA para automatizar la identificación de objetos en imágenes aéreas. Google era un contratista de Maven, y cuando otros empleados de Google se enteraron, en 2018, la empresa decidió abandonar el proyecto. Posteriormente, ideó un código de conducta de IA que decía que Google no usaría su IA para desarrollar armas u otras tecnologías cuyo principal propósito o implementación sea causar o facilitar directamente lesiones a las personas.

Los trabajadores de otras grandes empresas tecnológicas siguieron exigiendo que sus empleadores eviten los contratos militares. Muchos investigadores destacados de IA han respaldado un esfuerzo para iniciar una prohibición global del desarrollo de armas completamente autónomas.

Para Kanaan, sin embargo, sería un gran problema si los militares no pudieran trabajar con investigadores como los que desarrollaron OpenAI Five. Aún más inquietante es la perspectiva de que un adversario obtenga acceso a una tecnología tan avanzada. El código está disponible para que cualquiera lo use, dijo. Agregó: la guerra es mucho más compleja que un videojuego.

Cinco algoritmos trabajan juntos para burlar a cinco humanos en el videojuego Dota 2, basado en el campo de batalla. Imagen de cortesía

El aumento de la IA

En general, Kanaan es muy optimista con respecto a la IA, en parte porque sabe de primera mano lo útil que puede ser para las tropas. Hace seis años, como oficial de inteligencia de la Fuerza Aérea en Afganistán, fue responsable de implementar un nuevo tipo de herramienta de recopilación de inteligencia: un generador de imágenes hiperespectrales. El instrumento puede detectar objetos que normalmente están ocultos a la vista, como tanques camuflados o emisiones de una fábrica de bombas improvisada. Kanaan dice que el sistema ayudó a las tropas estadounidenses a retirar miles de libras de explosivos del campo de batalla. Aun así, a menudo resultaba poco práctico para los analistas procesar la gran cantidad de datos recopilados por la cámara. Pasamos demasiado tiempo mirando los datos y no lo suficiente tomando decisiones, dice. A veces tomaba tanto tiempo que te preguntabas si podrías haber salvado más vidas.

Una solución podría estar en un gran avance en la visión por computadora por parte de un equipo dirigido por Geoffrey Hinton en la Universidad de Toronto. Demostró que un algoritmo inspirado en una red neuronal de muchas capas podía reconocer objetos en imágenes con una habilidad sin precedentes cuando se le proporcionaban suficientes datos y potencia informática.

Entrenar una red neuronal implica alimentar datos, como los píxeles en una imagen, y alterar continuamente las conexiones en la red, utilizando técnicas matemáticas, para que la salida se acerque más a un resultado particular, como identificar el objeto en la imagen. Con el tiempo, estas redes de aprendizaje profundo aprenden a reconocer los patrones de píxeles que forman casas o personas. Los avances en el aprendizaje profundo han provocado el auge actual de la IA; la tecnología sustenta los sistemas autónomos de Tesla y los algoritmos de OpenAI.

Kanaan reconoció de inmediato el potencial del aprendizaje profundo para procesar los diversos tipos de imágenes y datos de sensores que son esenciales para las operaciones militares. Él y otros en la Fuerza Aérea pronto comenzaron a presionar a sus superiores para que invirtieran en la tecnología. Sus esfuerzos han contribuido al gran impulso de la IA del Pentágono.

Pero poco después de que el aprendizaje profundo irrumpiera en escena, los investigadores descubrieron que las mismas propiedades que lo hacen tan poderoso también son un talón de Aquiles.

Así como es posible calcular cómo ajustar los parámetros de una red para que clasifique un objeto correctamente, es posible calcular cómo cambios mínimos en la imagen de entrada pueden causar que la red lo clasifique incorrectamente. En tales ejemplos contradictorios, solo se alteran unos pocos píxeles en la imagen, dejándola con el mismo aspecto para una persona pero muy diferente para un algoritmo de IA. El problema puede surgir en cualquier lugar donde se pueda usar el aprendizaje profundo, por ejemplo, para guiar vehículos autónomos, planificar misiones o detectar intrusiones en la red.

En medio de la acumulación de usos militares de la IA, estas misteriosas vulnerabilidades en el software han recibido mucha menos atención.

Blancos en movimiento

Un objeto notable sirve para ilustrar el poder del aprendizaje automático antagónico. Es una tortuga modelo.

Para ti o para mí parece normal, pero para un dron o un robot que ejecuta un algoritmo de visión de aprendizaje profundo en particular, parece ser... un rifle. En un proyecto separado, los investigadores habían usado imágenes 2D para que un sistema de visión de IA disponible a través de la nube de Google lo confundiera con casi cualquier cosa. (Desde entonces, Google ha actualizado el algoritmo para que no se deje engañar).

La tortuga no fue creada por un adversario del estado-nación, sino por cuatro tipos en el MIT. Uno de ellos es Anish Athalye, un joven larguirucho y muy educado que trabaja en seguridad informática en el Laboratorio de Ciencias de la Computación e Inteligencia Artificial (CSAIL) del MIT. En un video en la computadora portátil de Athalye de las tortugas que se están probando (algunos de los modelos fueron robados en una conferencia, dice), se gira 360 grados y se voltea al revés. El algoritmo detecta lo mismo una y otra vez: rifle, rifle, rifle.

Los primeros ejemplos contradictorios eran frágiles y propensos a fallar, pero Athalye y sus amigos creían que podían diseñar una versión lo suficientemente robusta para trabajar en un objeto impreso en 3D. Esto implicó modelar una representación 3D de objetos y desarrollar un algoritmo para crear la tortuga, un ejemplo contradictorio que funcionaría en diferentes ángulos y distancias. En pocas palabras, desarrollaron un algoritmo para crear algo que engañaría de manera confiable a un modelo de aprendizaje automático.

Las aplicaciones militares son obvias. Usando camuflaje algorítmico adversario, los tanques o aviones pueden esconderse de los satélites y drones equipados con IA. Los misiles guiados por IA podrían quedar cegados por los datos del adversario, y tal vez incluso desviarse hacia objetivos amigos. La información ingresada en los algoritmos de inteligencia podría envenenarse para disfrazar una amenaza terrorista o tender una trampa para las tropas en el mundo real.

Athalye está sorprendida por la poca preocupación que ha encontrado por el aprendizaje automático antagónico. He hablado con un grupo de personas en la industria y les pregunté si les preocupan los ejemplos contradictorios. La respuesta es, casi en todos los ámbitos, no, dice, ya que las empresas se centran en hacer que sus sistemas de IA funcionen como su máxima prioridad.

Afortunadamente, el Pentágono está empezando a darse cuenta. Este agosto, la Agencia de Proyectos de Investigación Avanzada de Defensa (DARPA) anunció varios grandes proyectos de investigación de IA. Entre ellos se encuentra GARD, un programa centrado en el aprendizaje automático antagónico. Hava Siegelmann, profesora de la Universidad de Massachusetts, Amherst, y directora del programa GARD, dice que estos ataques podrían ser devastadores en situaciones militares porque las personas no pueden identificarlos. Es como si estuviéramos ciegos, dice ella. Eso es lo que lo hace realmente muy peligroso.

Los desafíos que presenta el aprendizaje automático antagónico también explican por qué el Pentágono está tan interesado en trabajar con empresas como Google y Amazon, así como con instituciones académicas como el MIT. La tecnología está evolucionando rápidamente y los últimos avances se están consolidando en laboratorios dirigidos por empresas de Silicon Valley y las mejores universidades, no por contratistas de defensa convencionales.

Crucialmente, también están sucediendo fuera de los EE. UU., particularmente en China. Creo que se acerca un mundo diferente, dice Kanaan, el experto en IA de la Fuerza Aérea. Y es uno que tenemos que combatir con IA.

La reacción contra el uso militar de la IA es comprensible, pero puede pasar por alto el panorama general. A pesar de que la gente se preocupa por los robots asesinos inteligentes, tal vez un mayor riesgo a corto plazo es una niebla de guerra algorítmica, una que incluso las máquinas más inteligentes no pueden atravesar.

Will Knight fue hasta hace poco editor sénior de IA en MIT Technology Review y ahora trabaja en Wired.

esconder