AI puede ser legalmente responsable de sus decisiones

La inteligencia artificial está destinada a desempeñar un papel significativamente mayor en la sociedad. Y eso plantea el tema de la rendición de cuentas. Si confiamos en las máquinas para tomar decisiones cada vez más importantes, necesitaremos mecanismos de reparación en caso de que los resultados resulten inaceptables o difíciles de entender.

Pero hacer que los sistemas de IA expliquen sus decisiones no es del todo sencillo. Un problema es que las explicaciones no son gratuitas; requieren recursos considerables tanto en el desarrollo del sistema de IA como en la forma en que se interroga en la práctica.

Otra preocupación es que las explicaciones pueden revelar secretos comerciales al obligar a los desarrolladores a publicar el funcionamiento interno del sistema de IA. Además, una ventaja de estos sistemas es que pueden dar sentido a datos complejos de maneras que no son accesibles para los humanos. Entonces, hacer que sus explicaciones sean comprensibles para los humanos podría requerir una reducción en el rendimiento.

Los sistemas de explicación deben estar separados de los sistemas de IA, dice el equipo de Harvard

Entonces, ¿cómo vamos a hacer que la IA rinda cuentas por sus decisiones sin sofocar la innovación?

Hoy recibimos una especie de respuesta gracias al trabajo de Finale Doshi-Velez, Mason Kortz y otros en la Universidad de Harvard en Cambridge, Massachusetts. Estas personas son científicos informáticos, científicos cognitivos y académicos legales que exploraron juntos los problemas legales que plantean los sistemas de IA, identificaron problemas clave y sugirieron posibles soluciones. Juntos, somos expertos en la explicación de la ley, en la creación de sistemas de IA y en las capacidades y limitaciones del razonamiento humano, dicen.

Comienzan definiendo la explicación. Cuando hablamos de una explicación para una decisión, generalmente nos referimos a las razones o justificaciones de ese resultado en particular, en lugar de una descripción del proceso de toma de decisiones en general, dicen.

La distinción es importante. Doshi-Velez y compañía señalan que es posible explicar cómo un sistema de IA toma decisiones en el mismo sentido en que es posible explicar cómo funciona la gravedad o cómo hornear un pastel. Esto se hace estableciendo las reglas que sigue el sistema, sin hacer referencia a ningún objeto o pastel que caiga.

Este es el temor de los industriales que quieren mantener en secreto el funcionamiento de sus sistemas de IA para proteger su ventaja comercial.

Pero este tipo de transparencia no es necesaria en muchos casos. Explicar por qué un objeto cayó en un accidente industrial, por ejemplo, normalmente no requiere una explicación de la gravedad. En su lugar, por lo general se requieren explicaciones para responder preguntas como estas: ¿Cuáles fueron los factores principales en una decisión? ¿Cambiar un determinado factor habría cambiado la decisión? ¿Por qué dos casos de aspecto similar dieron lugar a decisiones diferentes?

Responder a estas preguntas no requiere necesariamente una explicación detallada del funcionamiento de un sistema de IA.

Entonces, ¿cuándo se deben dar explicaciones? Esencialmente, cuando el beneficio supera el costo. Encontramos que hay tres condiciones que caracterizan situaciones en las que la sociedad considera que un tomador de decisiones está obligado, moral, social o legalmente, a proporcionar una explicación, dicen Doshi-Velez y compañía.

El equipo dice que la decisión debe tener un impacto en una persona que no sea quien toma la decisión. Debe tener valor saber si la decisión se tomó erróneamente. Y debe haber alguna razón para creer que ha ocurrido (u ocurrirá) un error en el proceso de toma de decisiones.

Por ejemplo, los observadores pueden sospechar que una decisión estuvo influenciada por algún factor irrelevante, como que un cirujano se niegue a realizar una operación debido a la fase de la luna. O pueden desconfiar de un sistema si tomó la misma decisión en dos conjuntos de circunstancias completamente diferentes. En ese caso, podrían sospechar que no ha tenido en cuenta un factor importante. Otra preocupación surge con las decisiones que parecen beneficiar injustamente a un grupo, como cuando los directores corporativos toman decisiones que los benefician a expensas de sus accionistas.

En otras palabras, debe haber una buena razón para pensar que una decisión es incorrecta antes de exigir una explicación. Pero también puede haber otras razones para dar explicaciones, como intentar aumentar la confianza de los consumidores.

Entonces, Doshi-Velez y compañía analizan situaciones legales concretas en las que se requieren explicaciones. Señalan que las mentes razonables pueden diferir y difieren acerca de si es moralmente justificable o socialmente deseable exigir una explicación. Las leyes, por otro lado, están codificadas, y aunque uno podría discutir si una ley es correcta, al menos sabemos cuál es la ley, dicen.

Según la ley de los EE. UU., se requieren explicaciones en una amplia variedad de situaciones y en diferentes niveles de detalle. Por ejemplo, se requieren explicaciones en casos de responsabilidad estricta, divorcio o discriminación; para decisiones administrativas; y para jueces y jurados. Pero el nivel de detalle varía enormemente.

Todo eso tiene implicaciones importantes para los sistemas de IA. Doshi-Velez y compañía concluyen que las explicaciones legalmente viables son posibles para los sistemas de IA. Esto se debe a que la explicación de una decisión se puede hacer por separado de una descripción de su funcionamiento interno. Además, el equipo dice que un sistema de explicación debe considerarse distinto del sistema de IA.

Ese es un resultado significativo. No significa que las explicaciones satisfactorias siempre serán fáciles de generar. Por ejemplo, ¿cómo podemos demostrar que un sistema de seguridad que utiliza imágenes de un rostro como entrada no discrimina por motivos de género? Eso solo es posible usando una cara alternativa que sea similar en todos los sentidos excepto en el género, dice el equipo.

Pero las explicaciones de las decisiones que toman los sistemas de IA son generalmente posibles. Y eso lleva al equipo a una conclusión clara. Recomendamos que, por el momento, los sistemas de IA pueden y deben tener un estándar de explicación similar al que tienen los humanos actualmente, dicen.

Pero es probable que nuestro uso y comprensión de la IA cambie de formas que aún no entendemos (y quizás nunca lo hagamos). Por esa razón, será necesario revisar este enfoque. En el futuro, es posible que deseemos mantener una IA con un estándar diferente, dicen Doshi-Velez y compañía.

¡Bastante!

Ref: arxiv.org/abs/1711.01134 : Responsabilidad de la IA bajo la ley: el papel de la explicación

esconder