Necesitamos diseñar la desconfianza en los sistemas de IA para hacerlos más seguros

cortesía de ACM

Ayanna Howard siempre ha buscado usar robots e inteligencia artificial para ayudar a las personas. Durante su carrera de casi 30 años, ha construido innumerables robots: para explorar Marte, para limpiar desechos peligrosos y para ayudar a niños con necesidades especiales. En el proceso, ha desarrollado una impresionante variedad de técnicas de manipulación robótica, navegación autónoma y visión artificial. Y ha liderado el campo en el estudio de un error común que cometen los humanos: confiamos demasiado en los sistemas automatizados.

El 12 de mayo, la Association for Computing Machinery otorgó a Howard el premio Athena Lecturer Award de este año, que reconoce a las mujeres que han realizado contribuciones fundamentales en informática. La organización honró no solo la impresionante lista de logros científicos de Howard, sino también su pasión y compromiso de retribuir a su comunidad. Mientras ha sido una célebre tecnóloga, también ha creado y dirigido muchos programas diseñados para aumentar la participación y retención de mujeres jóvenes y minorías subrepresentadas en el campo.

En marzo, después de 16 años como profesora en el Instituto de Tecnología de Georgia, asumió un nuevo cargo como decana de la facultad de ingeniería de la Universidad Estatal de Ohio. Es la primera mujer en ocupar el cargo. El día que recibió el premio ACM, hablé con Howard sobre su carrera y sus últimas investigaciones.

Lo siguiente ha sido editado por extensión y claridad.

He notado que usa el término inteligencia humanizada para describir su investigación, en lugar de inteligencia artificial. ¿Porqué es eso?

Sí, comencé a usar eso en un artículo en 2004. Estaba pensando en por qué trabajamos en inteligencia para robótica y sistemas de IA. No es que queramos crear estas características inteligentes fuera de nuestras interacciones con las personas. Estamos motivados por la experiencia humana, los datos humanos, los aportes humanos. La inteligencia artificial implica que es un tipo diferente de inteligencia, mientras que la inteligencia humanizada dice que es inteligente pero motivada por la construcción humana. Y eso significa que cuando creamos estos sistemas, también nos aseguramos de que tengan algunos de nuestros valores sociales.

¿Cómo llegaste a este trabajo?

Fue motivado principalmente por mi investigación de doctorado. En ese momento, estaba trabajando en el entrenamiento de un robot manipulador para eliminar peligros en un hospital. Esto fue en los días en que no tenías esos lugares agradables y seguros para poner agujas. Las agujas se tiraban a la misma basura que todo lo demás, y hubo casos en que los trabajadores de los hospitales se enfermaron. Así que estaba pensando: ¿Cómo se diseñan los robots para ayudar en ese entorno?

Entonces, desde el principio, se trataba de construir robots que fueran útiles para las personas. Y fue reconocer que no sabíamos cómo construir robots para hacer muy bien algunas de estas tareas. Pero la gente los hace todo el tiempo, así que imitemos cómo lo hacen. Así empezó.

Luego estaba trabajando con la NASA y tratando de pensar en la futura navegación del rover de Marte. Y nuevamente, fue como: los científicos pueden hacer esto muy, muy bien. Así que haría que los científicos operaran a distancia estos rovers y miraran lo que estaban viendo en las cámaras de estos rovers, y luego trataran de correlacionar cómo conducen en función de eso. Ese siempre fue el tema: ¿Por qué no acudo a los expertos humanos, codigo lo que están haciendo en un algoritmo y luego hago que el robot lo entienda?

¿Había otras personas pensando y hablando sobre IA y robótica de esta manera centrada en el ser humano en ese entonces? ¿O eras un extraño extraño?

Oh, yo era un extraño total atípico. Veía las cosas de manera diferente a los demás. Y en ese entonces no había una guía sobre cómo hacer este tipo de investigación. De hecho, cuando miro hacia atrás ahora a cómo hice la investigación, lo haría de manera totalmente diferente. Existe toda esta experiencia y conocimiento que desde entonces ha surgido en el campo.

¿En qué momento pasó de pensar en construir robots que ayudaran a los humanos a pensar más en la relación entre los robots y los humanos?

Fue motivado en gran parte por esta estudio hicimos sobre evacuación de emergencia y confianza en robots. Lo que queríamos ver era que cuando los humanos se encuentren en una situación crítica de alto riesgo, ¿confiarán en la guía de un robot? Así que trajimos a la gente a un edificio de oficinas abandonado fuera del campus, y un robot guía turístico les permitió entrar. Inventamos una historia sobre el robot y cómo tenían que hacer una encuesta, ese tipo de cosas. Mientras estaban allí, llenamos el edificio de humo y activamos la alarma contra incendios.

Así que queríamos ver, mientras navegaban, ¿se dirigirían a la puerta principal, se dirigirían a la señal de salida o seguirían la guía del robot que los conducía en una dirección diferente?

Pensamos que las personas se dirigirían a la puerta principal porque esa era la forma en que entraron, e investigaciones anteriores han dicho que cuando las personas se encuentran en una situación de emergencia, tienden a ir a donde están familiarizados. O pensamos que seguirían las señales de salida, porque ese es un comportamiento entrenado. Pero los participantes hicieron no hacer esto. De hecho, siguen la guía del robot.

Luego introdujimos algunos errores. Hicimos que el robot se descompusiera, lo hicimos girar en círculos, lo llevamos en una dirección que requería que movieras los muebles. Pensamos que en algún momento el humano diría, Déjame ir a la puerta principal, o déjame ir a la señal de salida que está ahí. Literalmente nos llevó hasta el final antes de que la gente dejara de seguir la guía del robot.

Esa fue la primera vez que nuestras hipótesis estaban totalmente equivocadas. Fue como, no puedo creer que la gente confíe en el sistema de esta manera. Esto es interesante y fascinante, y es un problema.

Desde ese experimento, ¿has visto este fenómeno replicado en el mundo real?

Cada vez que veo un accidente de Tesla. Sobre todo los anteriores. Yo estaba como, Sí, ahí está. La gente está confiando demasiado en estos sistemas. Y recuerdo después del primero, ¿qué hicieron? Eran como, ahora se requiere que sostenga el volante por algo así como incrementos de cinco segundos. Si no tienes la mano en el volante, el sistema se desactivará.

Pero, ya sabes, nunca vinieron y hablaron conmigo o con mi grupo, porque eso no va a funcionar. Y por qué eso no funciona es porque es muy fácil jugar con el sistema. Si estás mirando tu celular y luego escuchas el pitido, simplemente levantas la mano, ¿verdad? es subconsciente Todavía no estás prestando atención. Y es porque cree que el sistema está bien y que aún puede hacer lo que estaba haciendo: leer un libro, mirar televisión o mirar su teléfono. Entonces no funciona porque no aumentaron el nivel de riesgo o incertidumbre, o incredulidad o desconfianza. No aumentaron eso lo suficiente como para que alguien volviera a participar.

Historia relacionada

Cuando los algoritmos fallan, el humano más cercano recibe la culpa Una mirada a los estudios de casos históricos nos muestra cómo manejamos la responsabilidad de los sistemas automatizados.

Es interesante que esté hablando de cómo, en este tipo de escenarios, debe diseñar activamente la desconfianza en el sistema para hacerlo más seguro.

Sí, eso es lo que tienes que hacer. De hecho, estamos probando un experimento en este momento en torno a la idea de la denegación de servicio. Todavía no tenemos resultados y estamos lidiando con algunas preocupaciones éticas. Porque una vez que hablemos al respecto y publiquemos los resultados, tendremos que explicar por qué a veces es posible que tampoco desee darle a la IA la capacidad de denegar un servicio. ¿Cómo eliminas el servicio si alguien realmente lo necesita?

Pero aquí hay un ejemplo con la desconfianza de Tesla. La denegación de servicio sería: creo un perfil de su confianza, que puedo hacer en función de las veces que desactivó o desactivó el volante. Dados esos perfiles de desconexión, puedo modelar en qué punto te encuentras completamente en este estado de confianza. Lo hemos hecho, no con los datos de Tesla, sino con nuestros propios datos. Y en cierto punto, la próxima vez que ingrese al automóvil, recibirá una denegación de servicio. No tiene acceso al sistema durante X período de tiempo.

Es casi como cuando castigas a un adolescente quitándole el teléfono. Sabes que los adolescentes no harán lo que no querías que hicieran si lo vinculas a su modalidad de comunicación.

¿Cuáles son algunos otros mecanismos que ha explorado para aumentar la desconfianza en los sistemas?

La otra metodología que hemos explorado se llama aproximadamente IA explicable, donde el sistema brinda una explicación con respecto a algunos de sus riesgos o incertidumbres. Porque todos estos sistemas tienen incertidumbre, ninguno de ellos es 100%. Y un sistema sabe cuándo es incierto. Por lo tanto, podría proporcionar información de una manera que un humano pueda entender, para que las personas cambien su comportamiento.

Como ejemplo, digamos que soy un automóvil autónomo, tengo toda la información de mi mapa y sé que ciertas intersecciones son más propensas a los accidentes que otras. A medida que nos acercamos a uno de ellos, diría: Nos estamos acercando a una intersección donde murieron 10 personas el año pasado. Lo explicas de una manera que hace que alguien diga: Oh, espera, tal vez debería ser más consciente.

Ya hemos hablado sobre algunas de sus preocupaciones sobre nuestra tendencia a confiar demasiado en estos sistemas. ¿Qué son los demás? Por otro lado, ¿hay también beneficios?

Los aspectos negativos están realmente relacionados con el sesgo. Es por eso que siempre hablo de sesgo y confianza indistintamente. Porque si confío demasiado en estos sistemas y estos sistemas toman decisiones que tienen diferentes resultados para diferentes grupos de personas, por ejemplo, un sistema de diagnóstico médico tiene diferencias entre mujeres y hombres, ahora estamos creando sistemas que aumentan las desigualdades que tenemos actualmente. . Eso es un problema. Y cuando lo relaciona con cosas que están relacionadas con la salud o el transporte, que pueden conducir a situaciones de vida o muerte, una mala decisión puede conducir a algo de lo que no puede recuperarse. Así que realmente tenemos que arreglarlo.

Los aspectos positivos son que los sistemas automatizados son mejores que las personas en general. creo que pueden ser incluso mejor, pero personalmente prefiero interactuar con un sistema de IA en algunas situaciones que con ciertos humanos en otras situaciones. Sé que tiene algunos problemas, pero dame la IA. Dame el robot. Tienen más datos; son más precisos. Especialmente si tienes una persona novata. Es un mejor resultado. Puede ser que el resultado no sea igual.

Además de su investigación en robótica e inteligencia artificial, ha sido un gran defensor de aumentar la diversidad en el campo a lo largo de su carrera. Comenzaste un programa para asesorar a niñas de secundaria en riesgo hace 20 años, mucho antes de que muchas personas pensaran en este tema. ¿Por qué es eso importante para usted y por qué también es importante para el campo?

Es importante para mí porque puedo identificar momentos de mi vida en los que alguien básicamente me proporcionó acceso a la ingeniería y la informática. Ni siquiera sabía que era una cosa. Y esa es realmente la razón por la que más adelante, nunca tuve problemas para saber que podía hacerlo. Y por eso siempre sentí que era solo mi responsabilidad hacer lo mismo por aquellos que lo han hecho por mí. A medida que fui creciendo también, me di cuenta de que había muchas personas que no se parecían a mí en la habitación. Entonces me di cuenta: espera, definitivamente hay un problema aquí, porque las personas simplemente no tienen los modelos a seguir, no tienen acceso, ni siquiera saben que esto es una cosa.

Y por qué es importante para el campo es porque todos tienen una experiencia diferente. Al igual que había estado pensando en la interacción humano-robot antes de que fuera una cosa. No fue porque yo fuera brillante. Fue porque miré el problema de una manera diferente. Y cuando estoy hablando con alguien que tiene un punto de vista diferente, es como, Oh, intentemos combinar y descubrir lo mejor de ambos mundos.

Las bolsas de aire matan a más mujeres y niños. ¿Porqué es eso? Bueno, voy a decir que es porque alguien no estaba en la sala para decir: Oye, ¿por qué no probamos esto con mujeres en el asiento delantero? Hay un montón de problemas que han matado o han sido peligrosos para ciertos grupos de personas. Y diría que si vuelves, es porque no tenías suficientes personas que pudieran decir Oye, ¿has pensado en esto? porque están hablando desde su propia experiencia y desde su entorno y su comunidad.

¿Cómo espera que la investigación en IA y robótica evolucione con el tiempo? ¿Cuál es su visión del campo?

Si piensas en codificar y programar, casi todos pueden hacerlo. Ahora hay tantas organizaciones como Code.org. Los recursos y las herramientas están ahí. Me encantaría tener una conversación con un estudiante algún día en la que le pregunte: ¿Sabes sobre inteligencia artificial y aprendizaje automático? y dicen, Dr. H, ¡he estado haciendo eso desde el tercer grado! Quiero que me sorprendan así, porque eso sería maravilloso. Por supuesto, entonces tendría que pensar en cuál es mi próximo trabajo, pero esa es otra historia.

Pero creo que cuando tienes las herramientas con codificación e IA y aprendizaje automático, puedes crear tus propios trabajos, puedes crear tu propio futuro, puedes crear tu propia solución. Ese sería mi sueño.

esconder