211service.com
Cómo responsabilizar a los algoritmos
Los algoritmos ahora se utilizan en los sectores público y privado, informando decisiones sobre todo, desde educación y empleo hasta justicia penal. Pero a pesar del potencial de ganancias en eficiencia, los algoritmos alimentados por big data también pueden amplificar la discriminación estructural , producir errores que negar servicios a personas , o incluso seducir a un electorado con una falsa sensación de seguridad. De hecho, hay creciente conciencia que el público debe desconfiar de la riesgos sociales que plantea la dependencia excesiva de estos sistemas y el trabajo para Mantenlo explicable .
Diversos esfuerzos de la industria, incluido un consorcio de los gigantes de Silicon Valley, están comenzando a lidiar con la ética de implementar algoritmos que pueden tener efectos inesperados en la sociedad. Los desarrolladores de algoritmos y los gerentes de productos necesitan nuevas formas de pensar, diseñar e implementar sistemas algorítmicos de manera públicamente responsable. En los últimos meses, nosotros y algunos colegas han estado tratando de abordar estos objetivos mediante la elaboración de un conjunto de principios para algoritmos contables .
Consideremos un caso donde la responsabilidad algorítmica es muy necesaria: el puntajes de evaluación de riesgos que informan las decisiones de justicia penal en el sistema legal de los Estados Unidos. Estos puntajes se calculan haciendo una serie de preguntas relacionadas con cosas como la edad del acusado, antecedentes penales y otras características. Los datos se introducen en un algoritmo para calcular un puntaje que luego se puede usar en decisiones sobre detención preventiva, libertad condicional, libertad condicional o incluso sentencia. Y estos modelos a menudo se entrenan utilizando algoritmos de aprendizaje automático patentados y datos sobre acusados anteriores.
Investigaciones recientes muestran que los algoritmos de evaluación de riesgos pueden tener sesgos raciales, generando puntajes que, cuando son incorrectos, con mayor frecuencia clasifican incorrectamente a los acusados negros como de alto riesgo. Estos resultados han generado una gran controversia. Dada la naturaleza literalmente alteradora de la vida de estas decisiones algorítmicas, deben recibir atención cuidadosa y ser responsables de las consecuencias negativas.
Los algoritmos y los datos que los impulsan están diseñados y creados por personas. Incluso para técnicas como algoritmos genéticos que evolucionan por sí mismos, o algoritmos de aprendizaje automático donde el modelo resultante no fue elaborado a mano por una persona, los resultados están determinados por decisiones de diseño hechas por humanos, reglas sobre qué optimizar y opciones sobre qué datos de entrenamiento usar. El algoritmo lo hizo no es una excusa aceptable si los sistemas algorítmicos cometen errores o tienen consecuencias no deseadas.
La rendición de cuentas implica la obligación de informar y justificar la toma de decisiones algorítmicas y de mitigar cualquier impacto social negativo o daño potencial. Consideraremos la rendición de cuentas a través de la lente de cinco principios básicos: responsabilidad, explicabilidad, precisión, auditabilidad y equidad.
Responsabilidad . Para cualquier sistema algorítmico, debe haber una persona con la autoridad para hacer frente a sus efectos adversos individuales o sociales de manera oportuna. Esta no es una declaración sobre la responsabilidad legal, sino más bien un enfoque sobre las vías de reparación, el diálogo público y la autoridad interna para el cambio. Esto podría ser tan sencillo como darle a alguien de su equipo técnico el poder y los recursos internos para cambiar el sistema, asegurándose de que la información de contacto de esa persona esté disponible públicamente.
explicabilidad . Cualquier decisión producida por un sistema algorítmico debe ser explicable a las personas afectadas por esas decisiones. Estas explicaciones deben ser accesibles y comprensibles para el público objetivo; las descripciones puramente técnicas no son apropiadas para el público en general. Explicar los puntajes de evaluación de riesgos a los acusados y sus asesores legales promovería una mayor comprensión y los ayudaría a cuestionar los errores aparentes o los datos defectuosos. Algunos modelos de aprendizaje automático son más explicable que otros, pero solo porque hay una red neuronal elegante involucrada no significa que un significativo explicación no se puede producir.
Exactitud . Los algoritmos cometen errores, ya sea por errores de datos en sus entradas (basura que entra, basura que sale) o incertidumbre estadística en sus salidas. El principio de exactitud sugiere que las fuentes de error e incertidumbre a lo largo de un algoritmo y sus fuentes de datos deben identificarse, registrarse y compararse. Comprender la naturaleza de los errores producidos por un sistema algorítmico puede informar los procedimientos de mitigación.
Auditabilidad . El principio de auditabilidad establece que los algoritmos deben desarrollarse para permitir que terceros prueben y revisen el comportamiento de un algoritmo. Permitir que los algoritmos sean monitoreados, verificados y criticados conduciría a un diseño más consciente y una corrección del curso en caso de falla. Si bien puede haber desafíos técnicos al permitir la auditoría pública mientras se protege la información patentada, la auditoría privada (como en la contabilidad) podría proporcionar cierta seguridad pública. Siempre que sea posible, incluso el acceso limitado (por ejemplo, a través de una API) permitiría al público una valiosa oportunidad de auditar estos socialmente significativos algoritmos
Justicia . A medida que los algoritmos toman cada vez más decisiones basadas en datos históricos y sociales, los sesgos existentes y las decisiones humanas históricamente discriminatorias corren el riesgo de convertirse en decisiones automatizadas. Todos los algoritmos que toman decisiones sobre individuos deben evaluarse para efectos discriminatorios. Los resultados de la evaluación y los criterios utilizados deben divulgarse y explicarse públicamente.
Hay mucho espacio para adaptar e interpretar estos principios a su propio contexto y, por supuesto, intervendrán las preocupaciones políticas, de propiedad o comerciales. Pero sí creemos que considerar estas ideas a lo largo de los ciclos de desarrollo de diseño, implementación y lanzamiento conducirá a un despliegue socialmente más responsable de algoritmos en la sociedad.
¿Cómo empiezas? Esbozamos algunas preguntas pragmáticas que el producto y el equipo de desarrollo pueden resolver para formar un declaración de impacto social que aborda estos principios .
Nicholas Diakopoulos es profesor asistente en la Universidad de Maryland, College Park. Sorelle Friedler es una n profesor asistente en Haverford College y afiliado en el Instituto de Investigación de Datos y Sociedad.