Talón de Aquiles de Machine Vision revelado por investigadores de Google Brain

Uno de los avances más espectaculares de la ciencia moderna ha sido el surgimiento de la visión artificial. En solo unos años, una nueva generación de técnicas de aprendizaje automático ha cambiado la forma en que ven las computadoras.

Las máquinas ahora superan a los humanos en el reconocimiento de rostros y objetos y están en proceso de revolucionar numerosas tareas basadas en la visión, como conducir, monitorear la seguridad, etc. La visión artificial ahora es sobrehumana.

Pero está surgiendo un problema. Los investigadores de visión artificial han comenzado a notar algunas deficiencias preocupantes de sus nuevos cargos. Resulta que los algoritmos de visión artificial tienen un talón de Aquiles que les permite ser engañados por imágenes modificadas de formas que serían triviales para un ser humano.

Estas imágenes modificadas se denominan imágenes antagónicas y constituyen una amenaza importante. Un ejemplo contradictorio para el dominio del reconocimiento facial podría consistir en marcas muy sutiles aplicadas al rostro de una persona, de modo que un observador humano reconocería su identidad correctamente, pero un sistema de aprendizaje automático lo reconocería como una persona diferente, dicen Alexey Kurakin y Samy. Bengio de Google Brain e Ian Goodfellow de OpenAI, una empresa de investigación de IA sin fines de lucro.

Debido a que los sistemas de visión artificial son tan nuevos, se sabe poco sobre las imágenes antagónicas. Nadie entiende cuál es la mejor manera de crearlos, cómo engañan a los sistemas de visión artificial o cómo protegerse contra este tipo de ataque.

Hoy, eso comienza a cambiar gracias al trabajo de Kurakin y compañía, quienes han comenzado a estudiar sistemáticamente las imágenes adversarias por primera vez. Su trabajo muestra cuán vulnerables son los sistemas de visión artificial a este tipo de ataque.

El equipo comienza con una base de datos estándar para la investigación de visión artificial, conocida como ImageNet. Se trata de una base de datos de imágenes clasificadas según lo que muestran. Una prueba estándar es entrenar un algoritmo de visión artificial en una parte de esta base de datos y luego probar qué tan bien clasifica otra parte de la base de datos.

El rendimiento en estas pruebas se mide contando con qué frecuencia el algoritmo tiene la clasificación correcta en sus 5 respuestas principales o incluso en su 1 respuesta principal (su denominada precisión de las 5 principales o precisión de la 1 principal) o con qué frecuencia no tiene la clasificación correcta. respuesta en su top 5 o top 1 (su tasa de error top 5 o tasa de error top 1).

Uno de los mejores sistemas de visión artificial es el algoritmo Inception v3 de Google, que tiene una tasa de error de los 5 principales del 3,46 por ciento. Los humanos que hacen la misma prueba tienen una tasa de error de los 5 primeros de alrededor del 5 por ciento, por lo que Inception v3 realmente tiene habilidades sobrehumanas.

Kurakin y compañía crearon una base de datos de imágenes antagónicas modificando 50 000 imágenes de ImageNet de tres maneras diferentes. Sus métodos explotan la idea de que las redes neuronales procesan la información para hacer coincidir una imagen con una clasificación particular. La cantidad de información que esto requiere, llamada entropía cruzada, es una medida de cuán difícil es la tarea de emparejamiento.

Su primer algoritmo realiza un pequeño cambio en una imagen de una manera que intenta maximizar esta entropía cruzada. Su segundo algoritmo simplemente itera este proceso para alterar aún más la imagen.

Estos algoritmos cambian la imagen de una manera que hace que sea más difícil clasificarla correctamente. Estos métodos pueden resultar en clasificaciones erróneas poco interesantes, como confundir una raza de perros de trineo con otra raza de perros de trineo, dicen.

Su algoritmo final tiene un enfoque mucho más inteligente. Esto modifica una imagen de una manera que dirige el sistema de visión artificial para que la clasifique erróneamente de una manera específica, preferiblemente una que se parezca menos a la clase real. La clase menos probable suele ser muy diferente de la clase real, por lo que este método de ataque da como resultado errores más interesantes, como confundir a un perro con un avión, dicen Kurakin y compañía.

Luego prueban qué tan bien el algoritmo Inception v3 de Google puede clasificar las 50,000 imágenes antagónicas.

Los dos algoritmos simples reducen significativamente la precisión del top 5 y top 1. Pero su algoritmo más poderoso, el método de clase menos probable, reduce rápidamente la precisión a cero para las 50,000 imágenes. (El equipo no dice qué tan exitoso es el algoritmo para dirigir las clasificaciones erróneas).

Eso sugiere que las imágenes adversarias son una amenaza importante, pero existe una debilidad potencial en este enfoque. Todas estas imágenes antagónicas se alimentan directamente al sistema de visión artificial.

Pero en el mundo real, una imagen siempre será modificada por el sistema de cámara que graba las imágenes. Y un algoritmo de imagen contradictorio sería inútil si este proceso neutralizara su efecto. Entonces, una pregunta importante es qué tan robustos son estos algoritmos para las transformaciones que tienen lugar en el mundo real.

Para probar esto, Kurakin y compañía imprimieron todas las imágenes adversarias junto con los originales y las fotografiaron a mano con un teléfono inteligente Nexus 5. Luego alimentan estas imágenes antagónicas transformadas en el sistema de visión artificial.

Kurakin y compañía dicen que el método de clase menos probable es el más vulnerable a este tipo de transformaciones, pero que los demás lo soportan razonablemente bien. En otras palabras, los algoritmos de imagen antagónicos son realmente una amenaza en el mundo real. Una fracción significativa de las imágenes contradictorias creadas con la red original se clasifican incorrectamente incluso cuando se envían al clasificador a través de la cámara, dice el equipo.

Es un trabajo interesante que arroja una luz importante sobre el talón de Aquiles de la visión artificial. Y hay mucho trabajo por delante. Kurakin y compañía quieren desarrollar imágenes antagónicas para otros tipos de sistemas de visión y hacerlos aún más efectivos.

Todo esto levantará algunas cejas en la comunidad de seguridad informática. Los sistemas de visión artificial ahora son mejores que los humanos para reconocer rostros, por lo que es natural esperar que se utilicen para todo, desde desbloquear teléfonos inteligentes y puertas de entrada hasta control de pasaportes y biometría de cuentas bancarias. Pero Kurakin y compañía plantean la posibilidad de engañar a estos sistemas con facilidad.

En los últimos años hemos aprendido mucho sobre lo buenos que pueden ser los sistemas de visión artificial. Ahora estamos descubriendo con qué facilidad pueden ser engañados.

Ref: arxiv.org/abs/1607.02533 : Ejemplos adversarios en el mundo físico

esconder