Por qué pedirle a una IA que se explique puede empeorar las cosas

Frogger a punto de hablar MS Tech / Getty

Una vez, Upol Ehsan realizó un viaje de prueba en un automóvil autónomo de Uber. En lugar de preocuparse por el asiento del conductor vacío, se alentó a los pasajeros ansiosos a mirar una pantalla de chupete que mostraba una vista de la carretera desde el punto de vista del automóvil: peligros destacados en naranja y rojo, zonas seguras en azul frío.

Para Ehsan , que estudia la forma en que los humanos interactúan con la IA en el Instituto de Tecnología de Georgia en Atlanta, el mensaje previsto era claro: no se asuste, es por eso que el automóvil está haciendo lo que está haciendo. Pero algo en la escena de la calle de aspecto alienígena resaltó la extrañeza de la experiencia en lugar de tranquilizarla. Hizo que Ehsan pensara: ¿y si el automóvil autónomo realmente pudiera explicarse a sí mismo?

El éxito del aprendizaje profundo se debe a los retoques: las mejores redes neuronales se modifican y adaptan para crear otras mejores, y los resultados prácticos han superado la comprensión teórica. Como resultado, normalmente se desconocen los detalles de cómo funciona un modelo entrenado. Hemos llegado a pensar en ellos como cajas negras.

Muchas veces estamos de acuerdo con eso cuando se trata de cosas como jugar Go o traducir texto o elegir el próximo programa de Netflix para atracones. Pero si la IA se utilizará para ayudar a tomar decisiones en la aplicación de la ley, el diagnóstico médico y los automóviles sin conductor, entonces debemos comprender cómo toma esas decisiones y saber cuándo están equivocadas.

Las personas necesitan el poder de estar en desacuerdo o rechazar una decisión automatizada, dice Iris Howley , científico informático del Williams College en Williamstown, Massachusetts. Sin esto, la gente rechazará la tecnología. Puede ver que esto se está desarrollando ahora mismo con la respuesta pública a los sistemas de reconocimiento facial, dice ella.

Ehsan es parte de un pequeño pero creciente grupo de investigadores que intentan mejorar las IA para explicarse a sí mismas, para ayudarnos a mirar dentro de la caja negra. El objetivo de la llamada IA ​​interpretable o explicable (XAI) es ayudar a las personas a comprender qué características de los datos está aprendiendo realmente una red neuronal y, por lo tanto, si el modelo resultante es preciso e imparcial.

Una solución es construir sistemas de aprendizaje automático que muestren su funcionamiento: la llamada caja de cristal, en oposición a la caja negra, IA. Los modelos Glassbox suelen ser versiones muy simplificadas de una red neuronal en las que es más fácil rastrear cómo los diferentes datos afectan el modelo.

Hay personas en la comunidad que abogan por el uso de modelos de cajas de vidrio en cualquier entorno de alto riesgo, dice Jennifer Wortman Vaughan , científico informático de Microsoft Research. Estoy en gran parte de acuerdo. Los modelos simples de caja de vidrio pueden funcionar tan bien como las redes neuronales más complicadas en ciertos tipos de datos estructurados, como las tablas de estadísticas. Para algunas aplicaciones eso es todo lo que necesita.

Pero depende del dominio. Si queremos aprender de datos desordenados como imágenes o texto, estamos atrapados en redes neuronales profundas y, por lo tanto, opacas. La capacidad de estas redes para establecer conexiones significativas entre un gran número de características dispares está ligada a su complejidad.

Incluso aquí, el aprendizaje automático de Glassbox podría ayudar. Una solución es realizar dos pasadas en los datos, entrenando un modelo de caja de vidrio imperfecto como un paso de depuración para descubrir posibles errores que quizás desee corregir. Una vez que se han limpiado los datos, se puede entrenar un modelo de caja negra más preciso.

Sin embargo, es un equilibrio complicado. Demasiada transparencia puede conducir a una sobrecarga de información. en un semental 2018 y Al observar cómo los usuarios no expertos interactúan con las herramientas de aprendizaje automático, Vaughan descubrió que los modelos transparentes en realidad pueden dificultar la detección y corrección de los errores del modelo.

Otro enfoque es incluir visualizaciones que muestren algunas propiedades clave del modelo y sus datos subyacentes. La idea es que puedas ver problemas serios de un vistazo. Por ejemplo, el modelo podría depender demasiado de ciertas características, lo que podría indicar un sesgo.

Estas herramientas de visualización han demostrado ser increíblemente populares en el poco tiempo que han existido. Pero, ¿realmente ayudan? En el primer estudio de este tipo , Vaughan y su equipo han tratado de averiguarlo y han expuesto algunos problemas graves.

El equipo tomó dos herramientas de interpretación populares que brindan una descripción general de un modelo a través de gráficos y gráficos de datos, destacando las cosas que el modelo de aprendizaje automático captó más en el entrenamiento. Once profesionales de IA fueron reclutados dentro de Microsoft, todos diferentes en educación, roles laborales y experiencia. Participaron en una interacción simulada con un modelo de aprendizaje automático entrenado en un conjunto de datos de ingresos nacionales tomados del censo de EE. UU. de 1994. El experimento fue diseñado específicamente para imitar la forma en que los científicos de datos usan las herramientas de interpretación en los tipos de tareas que enfrentan de manera rutinaria.

Lo que el equipo encontró fue sorprendente. Claro, las herramientas a veces ayudaron a las personas a detectar valores faltantes en los datos. Pero esta utilidad se vio ensombrecida por una tendencia a confiar demasiado y malinterpretar las visualizaciones. En algunos casos, los usuarios ni siquiera podían describir lo que mostraban las visualizaciones. Esto condujo a suposiciones incorrectas sobre el conjunto de datos, los modelos y las propias herramientas de interpretación. E infundió una falsa confianza en las herramientas que hizo que los participantes se entusiasmaran más con la implementación de los modelos, incluso cuando sentían que algo no estaba del todo bien. De manera preocupante, esto era cierto incluso cuando la salida había sido manipulada para mostrar explicaciones que no tenían sentido.

Para respaldar los hallazgos de su pequeño estudio de usuarios, los investigadores realizaron una encuesta en línea de alrededor de 200 profesionales de aprendizaje automático reclutados a través de listas de correo y redes sociales. Encontraron una confusión similar y una confianza fuera de lugar.

Peor aún, muchos participantes estaban felices de usar las visualizaciones para tomar decisiones sobre la implementación del modelo a pesar de admitir que no entendían las matemáticas detrás de ellas. Fue particularmente sorprendente ver a las personas justificar las rarezas en los datos al crear narraciones que las explicaban, dice Harman Preet Kaur en la Universidad de Michigan, coautor del estudio. El sesgo de automatización era un factor muy importante que no habíamos considerado.

Ah, el sesgo de automatización. En otras palabras, las personas están preparadas para confiar en las computadoras. no es nuevo fenómeno . Cuando se trata de sistemas automatizados, desde pilotos automáticos de aeronaves hasta correctores ortográficos, los estudios han demostrado que los humanos a menudo aceptan las elecciones que hacen incluso cuando obviamente están equivocadas. Pero cuando esto sucede con herramientas diseñadas para ayudarnos a evitar este mismo fenómeno, tenemos un problema aún mayor.

¿Qué podemos hacer al respecto? Para algunos, parte del problema con la primera ola de XAI es que está dominada por investigadores de aprendizaje automático, la mayoría de los cuales son usuarios expertos de sistemas de IA. Dice Tim Miller de la Universidad de Melbourne, que estudia cómo los humanos usan los sistemas de inteligencia artificial: Los reclusos están a cargo del asilo.

Esto es lo que Ehsan se dio cuenta sentado en la parte trasera del Uber sin conductor. Es más fácil entender lo que está haciendo un sistema automatizado y ver cuándo está cometiendo un error si da las razones de sus acciones como lo haría un ser humano. Ehsan y su colega Marcos Riedl están desarrollando un sistema de aprendizaje automático que genera automáticamente dichos fundamentos en lenguaje natural . En un prototipo inicial, la pareja tomó una red neuronal que había aprendido a jugar el clásico videojuego Frogger de la década de 1980 y la entrenó para proporcionar una razón cada vez que hacía un movimiento.

Captura de pantalla del software Frogger Explanation de Ehsan y Riedl Upol Ehsan

Para hacer esto, le mostraron al sistema muchos ejemplos de humanos jugando mientras hablaban en voz alta sobre lo que estaban haciendo. Luego tomaron una red neuronal para traducir entre dos lenguajes naturales y la adaptaron para traducir entre acciones en el juego y los fundamentos del lenguaje natural para esas acciones. Ahora, cuando la red neuronal ve una acción en el juego, la traduce en una explicación. El resultado es una IA que juega con Frogger y dice cosas como que me muevo a la izquierda para quedarme detrás del camión azul cada vez que se mueve.

El trabajo de Ehsan y Riedl es solo el comienzo. Por un lado, no está claro si un sistema de aprendizaje automático siempre podrá proporcionar una lógica de lenguaje natural para sus acciones. Por ejemplo, la IA AlphaZero para juegos de mesa de DeepMind. Una de las características más llamativas del software es su capacidad para realizar jugadas ganadoras que la mayoría de los jugadores humanos no pensarían en probar en ese momento del juego. Si AlphaZero pudiera explicar sus movimientos, ¿tendrían siempre sentido?

Las razones ayudan ya sea que las entendamos o no, dice Ehsan: El objetivo de XAI centrado en el ser humano no es solo hacer que el usuario esté de acuerdo con lo que dice la IA, sino también provocar la reflexión. Riedl recuerda haber visto la transmisión en vivo del partido del torneo entre la IA de DeepMind y el campeón de Korean Go, Lee Sedol. Los comentaristas hablaban de lo que veía y pensaba AlphaGo. 'Así no era como funcionaba AlphaGo', dice Riedl. 'Pero sentí que el comentario era esencial para comprender lo que estaba sucediendo'.

En lo que esta nueva ola de investigadores de XAI está de acuerdo es en que si los sistemas de IA van a ser utilizados por más personas, esas personas deben ser parte del diseño desde el principio, y diferentes personas necesitan diferentes tipos de explicaciones. (Esto está respaldado por un nuevo estudio de Howley y sus colegas, en el que muestran que la capacidad de las personas para comprender una visualización interactiva o estática depende de sus niveles de educación). Piense en una IA que diagnostica cáncer, dice Ehsan. Desearía que la explicación que le da a un oncólogo sea muy diferente de la explicación que le da al paciente.

En última instancia, queremos que las IA se expliquen no solo a los científicos de datos y los médicos, sino también a los oficiales de policía que usan tecnología de reconocimiento facial, a los maestros que usan software de análisis en sus aulas, a los estudiantes que intentan dar sentido a sus feeds de redes sociales y a cualquiera que esté sentado en el asiento trasero. de un coche autónomo. Siempre hemos sabido que las personas confían demasiado en la tecnología, y eso es especialmente cierto con los sistemas de inteligencia artificial, dice Riedl. Cuanto más dices que es inteligente, más gente está convencida de que es más inteligente que ellos.

Las explicaciones que cualquiera puede entender deberían ayudar a reventar esa burbuja.

esconder