Un nuevo conjunto de imágenes que engañan a la IA podría ayudar a que sea más a prueba de piratas informáticos

fotografía que muestra un hongo, una libélula y una ardilla, todos mal etiquetados como pretzel, tapa de alcantarilla y león marino Unsplash: Florian Van Duyn / Krzysztof Niewolny / Pranay Pareek

La inteligencia artificial es excelente para identificar objetos en imágenes, pero aún así es bastante fácil estropearlo. Agregue algunos trazos seleccionados o capa en algún ruido estático invisible para el ojo humano, y puede deshacerse de un sistema de reconocimiento de imágenes, a veces con un efecto mortal. Agregar calcomanías a una señal de alto puede hacer que un automóvil autónomo crea que la señal indica un límite de velocidad de 45 millas por hora, por ejemplo, mientras que agregarlas a una carretera puede hacer que un Tesla se desvíe hacia el carril de tráfico que se aproxima. (En el lado positivo, las mismas técnicas también pueden protegerte del estado de vigilancia. Ganas algo, pierdes algo).

Todos estos se conocen como ejemplos contradictorios, y los investigadores ahora se esfuerzan por desarrollar formas de proteger los sistemas de IA de ellos. pero en un papel el año pasado, un grupo de investigadores de Google Brain y Princeton, incluido uno de los primeros investigadores en este tema, Ian Goodfellow, argumentó que la beca emergente era demasiado teórica y no comprendía el punto.

Si bien la mayor parte de la investigación se centró en proteger los sistemas de perturbaciones especialmente diseñadas, es probable que un pirata informático, dijeron, elija una herramienta más contundente: una foto completamente diferente en lugar de un patrón de ruido para superponer a uno existente. Esto también podría causar que el sistema se comporte mal.

La crítica llevó a Dan Hendrycks, estudiante de doctorado de la Universidad de California, Berkeley, a compilar una nuevo conjunto de datos de imagen . Él llama a las imágenes que contiene ejemplos contradictorios naturales: sin ningún ajuste especial, engañan a un sistema de todos modos.

Incluyen cosas como una ardilla que los sistemas comunes etiquetan erróneamente como un león marino, o una libélula que identifican erróneamente como una tapa de alcantarilla. Estos ejemplos parecen mucho más difíciles de defender, dice. Los ejemplos contradictorios sintéticos necesitan conocer todas las defensas del sistema de IA para ser más efectivos. Por el contrario, los ejemplos naturales pueden funcionar bastante bien incluso cuando esas defensas cambian, dice.

Hendrycks lanzó una versión preliminar del conjunto de datos, con alrededor de 6000 imágenes, la semana pasada en la Conferencia Internacional sobre Aprendizaje Automático. Planea lanzar una versión final con cerca de 8,000 en un par de semanas. Tiene la intención de que la comunidad de investigación utilice el conjunto de datos como punto de referencia.

En otras palabras, en lugar de entrenar los sistemas de reconocimiento de imágenes directamente en las imágenes, deberían reservarlas solo para pruebas. Si las personas solo entrenaran en este conjunto de datos, eso sería solo memorizar estos ejemplos, dice. Eso sería resolver el conjunto de datos pero no la tarea de ser robusto a nuevos ejemplos.

Descifrar la lógica detrás de los errores a veces desconcertantes que causan los ejemplos podría conducir a sistemas más resistentes. ¿Cómo es esto confundir una libélula con guacamole? Bromas de Hendryck. No está muy claro por qué se está cometiendo el error.

esconder