Cuando los algoritmos fallan, el humano más cercano recibe la culpa

Una imagen que muestra las secuelas de un accidente automovilístico sin conductor, con un vehículo súper de costado Departamento de Policía de Tempe

A principios de este mes, Bloomberg publicó un artículo sobre una demanda en desarrollo sobre inversiones perdidas por un algoritmo. Un magnate de Hong Kong perdió más de 20 millones de dólares tras confiar parte de su fortuna a una plataforma automatizada. Sin un marco legal para demandar a la tecnología, culpó al ser humano más cercano: el hombre que se la vendió.

Es el primer caso conocido sobre pérdidas de inversión automatizadas, pero no el primero que involucra la responsabilidad de los algoritmos. En marzo de 2018, un Uber autónomo golpeado y asesinado un peatón en Tempe, Arizona, enviando otro caso a los tribunales. Un año después, Uber fue exonerado de toda responsabilidad penal, pero el conductor de seguridad podría enfrentar cargos de homicidio vehicular en su lugar.

Ambos casos abordan una de las preguntas centrales que enfrentamos a medida que los sistemas automatizados se filtran en todos los aspectos de la sociedad: ¿Quién o qué merece la culpa cuando un algoritmo causa daño? Quién o qué tiene realmente la culpa es una pregunta diferente pero igualmente importante.

Madeleine Clare Elish, investigadora de Data & Society y antropóloga cultural de formación, ha pasado los últimos años estudiando la última pregunta para ver cómo puede ayudar a responder a la primera. Para ello, ha repasado estudios de casos históricos. Si bien los sistemas modernos de IA no han existido por mucho tiempo, las preguntas sobre su responsabilidad no son nuevas.

El accidente de Uber autónomo es paralelo al accidente de 2009 del vuelo 447 de Air France, por ejemplo, y una mirada a cómo tratamos la responsabilidad luego ofrece pistas sobre lo que podríamos hacer ahora. En ese trágico accidente, el avión se estrelló en el Océano Atlántico en ruta de Brasil a Francia, matando a las 228 personas a bordo. El sistema automatizado del avión fue diseñado para ser completamente infalible, capaz de manejar casi todos los escenarios, excepto los raros casos extremos en los que necesitaba un piloto humano para hacerse cargo. En ese sentido, los pilotos se parecían mucho a los conductores de seguridad de los autos autónomos de hoy en día, destinados a monitorear pasivamente el vuelo la gran mayoría del tiempo, pero entrar en acción durante escenarios extremos.

Historia relacionada

Historia relacionada Solo unos pocos legisladores saben realmente de lo que están hablando, pero es un comienzo.

Lo que sucedió la noche del accidente es, a estas alturas, una historia conocida. Aproximadamente una hora y media después de iniciado el vuelo, los sensores de velocidad del aire del avión dejaron de funcionar debido a la formación de hielo. Después de que el sistema de piloto automático devolviera el control a los pilotos, la confusión y la falta de comunicación llevaron al avión a entrar en pérdida. Mientras uno de los pilotos intentaba revertir la entrada en pérdida apuntando el morro del avión hacia abajo, el otro, probablemente presa del pánico, levantó el morro para seguir subiendo. Sin embargo, el sistema fue diseñado para que un piloto tuviera el control en todo momento y no proporcionó ninguna señal o respuesta háptica para indicar quién tenía realmente el control y qué estaba haciendo el otro. En última instancia, el avión subió a un ángulo tan pronunciado que el sistema lo consideró inválido y dejó de proporcionar comentarios por completo. Los pilotos, que volaban completamente a ciegas, continuaron dando tumbos hasta que el avión se hundió en el mar.

en un artículo reciente , Elish examinó las secuelas de la tragedia e identificó un patrón importante en la forma en que el público llegó a comprender lo sucedido. Si bien una investigación federal del incidente concluyó que una combinación de diseño deficiente de los sistemas y capacitación insuficiente del piloto había causado la falla catastrófica, el público rápidamente se aferró a una narrativa que culpaba únicamente a este último. Las representaciones de los medios, en particular, perpetuaron la creencia de que el sofisticado sistema de piloto automático no tenía fallas en el asunto, a pesar de la importante investigación de factores humanos que demuestra que los humanos siempre han sido bastante ineptos para saltar a situaciones de emergencia en el último minuto con la cabeza nivelada y la mente clara. .

Los humanos actúan como una 'esponja de responsabilidad'.

En otros estudios de casos, Elish encontró que el mismo patrón era cierto: incluso en un sistema altamente automatizado donde los humanos tienen un control limitado de su comportamiento, aún tienen la mayor parte de la culpa de sus fallas. Elish llama a este fenómeno una zona de deformación moral. Si bien la zona de deformación en un automóvil está destinada a proteger al conductor humano, escribe en su artículo, la zona de deformación moral protege la integridad del sistema tecnológico, a expensas del operador humano más cercano. Los humanos actúan como una esponja de responsabilidad, dice, absorbiendo toda la responsabilidad legal y moral en los accidentes algorítmicos, sin importar cuán poco o sin querer estén involucrados.

Este patrón ofrece información importante sobre la forma preocupante en que hablamos sobre la responsabilidad de los sistemas modernos de IA. Inmediatamente después del accidente de Uber, los titulares señalaron con el dedo a Uber, pero menos de unos días después, la narrativa desplazado para centrarse en la distracción del conductor.

Necesitamos comenzar a preguntar quién asume el riesgo de los experimentos tecnológicos [de las empresas tecnológicas], dice Elish. Los conductores de seguridad y otros operadores humanos a menudo tienen poco poder o influencia sobre el diseño de las plataformas tecnológicas con las que interactúan. Sin embargo, en el vacío regulatorio actual, seguirán pagando el costo más elevado.

Los reguladores también deberían tener conversaciones más matizadas sobre qué tipo de marco ayudaría a distribuir la responsabilidad de manera justa. Deben pensar detenidamente en la regulación de los sistemas sociotécnicos y no solo en las cajas negras algorítmicas, dice Elish. En otras palabras, deben considerar si el diseño del sistema funciona dentro del contexto en el que está operando y si prepara a los operadores humanos en el camino para el fracaso o el éxito. Los automóviles autónomos, por ejemplo, deben regularse de manera que se tenga en cuenta si el papel que se les pide a los conductores de seguridad que desempeñen es razonable.

Lo que está en juego en el concepto de la zona de deformación moral no es solo cómo se puede distribuir la responsabilidad en cualquier sistema robótico o autónomo, escribe, sino también cómo se puede permitir que se desarrolle el valor y el potencial de los humanos en el contexto de los equipos humano-máquina. .

Esta historia apareció originalmente en nuestro boletín de inteligencia artificial nominado por Webby, The Algorithm. Para recibir más historias como esta directamente en su bandeja de entrada, regístrese aquí. Es gratis.

esconder