¿Qué es un algoritmo? depende a quien le preguntes

Getty

Describir un sistema de toma de decisiones como un algoritmo es a menudo una forma de desviar la responsabilidad por las decisiones humanas. Para muchos, el término implica un conjunto de reglas basadas objetivamente en evidencia o datos empíricos. También sugiere un sistema que es muy complejo, tal vez tan complejo que un humano tendría dificultades para comprender su funcionamiento interno o anticipar su comportamiento cuando se implementa.

Pero, ¿es precisa esta caracterización? No siempre.

Por ejemplo, a fines de diciembre, la mala asignación de vacunas covid-19 del Centro Médico de Stanford se atribuyó a un algoritmo de distribución que favorecía a los administradores de alto rango sobre los médicos de primera línea. El hospital afirmó haber consultado con especialistas en ética para diseñar su algoritmo muy complejo, que un representante dijo que claramente no funcionaba bien, ya que Revisión de tecnología del MIT reportado en su momento. Si bien muchas personas interpretaron el uso del término en el sentido de que la IA o el aprendizaje automático estaban involucrados, el sistema era de hecho un algoritmo médico, que es funcionalmente diferente. Era más parecido a una fórmula muy simple o un árbol de decisiones diseñado por un comité humano.

Esta desconexión destaca un problema creciente. A medida que proliferan los modelos predictivos, el público se vuelve más cauteloso con respecto a su uso para tomar decisiones críticas. Pero a medida que los formuladores de políticas comienzan a desarrollar estándares para evaluar y auditar algoritmos, primero deben definir la clase de herramientas de toma de decisiones o de apoyo a las decisiones a las que se aplicarán sus políticas. Dejar el término algoritmo abierto a la interpretación podría colocar algunos de los modelos con mayor impacto fuera del alcance de las políticas diseñadas para garantizar que tales sistemas no perjudiquen a las personas.

Cómo identificar un algoritmo

Entonces, ¿el algoritmo de Stanford es un algoritmo? Eso depende de cómo se defina el término. Si bien no existe una definición universalmente aceptada, una común proviene de un libro de texto de 1971 escrito por el informático Harold Stone, quien afirma: Un algoritmo es un conjunto de reglas que definen con precisión una secuencia de operaciones. Esta definición abarca todo, desde recetas hasta redes neuronales complejas: una política de auditoría basada en ella sería ridículamente amplia.

En estadísticas y aprendizaje automático, generalmente pensamos en el algoritmo como el conjunto de instrucciones que ejecuta una computadora para aprender de los datos. En estos campos, la información estructurada resultante suele denominarse modelo. La información que la computadora aprende de los datos a través del algoritmo puede parecer pesos por los cuales multiplicar cada factor de entrada, o puede ser mucho más complicado. La complejidad del propio algoritmo también puede variar. Y los impactos de estos algoritmos dependen en última instancia de los datos a los que se aplican y del contexto en el que se implementa el modelo resultante. El mismo algoritmo podría tener un impacto neto positivo cuando se aplica en un contexto y un efecto muy diferente cuando se aplica en otro.

Historia relacionada

Este es el algoritmo de la vacuna de Stanford que dejó fuera a los médicos de primera línea El hospital universitario culpó a un algoritmo muy complejo por su plan desigual de distribución de vacunas. Esto es lo que salió mal.

En otros dominios, lo que se describe anteriormente como un modelo se denomina algoritmo. Aunque eso es confuso, bajo la definición más amplia también es preciso: los modelos son reglas (aprendidas por el algoritmo de entrenamiento de la computadora en lugar de ser establecidas directamente por humanos) que definen una secuencia de operaciones. Por ejemplo, el año pasado en el Reino Unido, los medios de comunicación describieron el fracaso de un algoritmo para asignar puntajes justos a los estudiantes que no pudieron presentarse a sus exámenes debido a covid-19. Seguramente, lo que estos informes estaban discutiendo era el modelo: el conjunto de instrucciones que traducían las entradas (el desempeño anterior de un estudiante o la evaluación de un maestro) en salidas (una puntuación).

Lo que parece haber sucedido en Stanford es que los humanos, incluidos los especialistas en ética, se sentaron y determinaron qué serie de operaciones debería usar el sistema para determinar, sobre la base de datos como la edad y el departamento de un empleado, si esa persona debería estar entre los primeros. para conseguir una vacuna. Por lo que sabemos, esta secuencia no se basó en un procedimiento de estimación optimizado para algún objetivo cuantitativo. Era un conjunto de decisiones normativas sobre cómo deberían priorizarse las vacunas, formalizado en el lenguaje de un algoritmo. Este enfoque califica como un algoritmo en terminología médica y bajo la definición amplia, a pesar de que la única inteligencia involucrada fue la de los humanos.

Concéntrese en el impacto, no en la entrada

Los legisladores también están evaluando qué es un algoritmo. Introducido en el Congreso de los Estados Unidos en 2019, HR2291 , o la Ley de responsabilidad algorítmica, utiliza el término sistema automatizado de toma de decisiones y lo define como un proceso computacional, incluido uno derivado del aprendizaje automático, las estadísticas u otras técnicas de procesamiento de datos o inteligencia artificial, que toma una decisión o facilita la toma de decisiones humana, que impacta a los consumidores.

Historia relacionada

Los auditores están probando los algoritmos de contratación en busca de sesgo, pero no hay una solución fácil

Las auditorías de IA pueden pasar por alto ciertos tipos de sesgos y no necesariamente verifican que una herramienta de contratación elija a los mejores candidatos para un trabajo.

De manera similar, la ciudad de Nueva York está considerando en 1894 , una ley que introduciría auditorías obligatorias de herramientas de decisión de empleo automatizadas, definidas como cualquier sistema cuya función se rige por la teoría estadística, o sistemas cuyos parámetros están definidos por tales sistemas. En particular, ambos proyectos de ley exigen auditorías, pero solo brindan pautas de alto nivel sobre lo que es una auditoría.

A medida que los responsables de la toma de decisiones, tanto en el gobierno como en la industria, crean estándares para las auditorías algorítmicas, es probable que haya desacuerdos sobre lo que cuenta como algoritmo. En lugar de tratar de ponerse de acuerdo sobre una definición común de 'algoritmo' o una técnica de auditoría universal particular, sugerimos evaluar los sistemas automatizados principalmente en función de su impacto. Al centrarnos en el resultado en lugar de la entrada, evitamos debates innecesarios sobre la complejidad técnica. Lo que importa es el potencial de daño, independientemente de si estamos discutiendo una fórmula algebraica o una red neuronal profunda.

El impacto es un factor de evaluación crítico en otros campos. Está integrado en el clásico. MIEDO framework en ciberseguridad, que Microsoft popularizó por primera vez a principios de la década de 2000 y todavía se usa en algunas corporaciones. La A en DREAD pide a los evaluadores de amenazas que cuantifiquen a los usuarios afectados preguntando cuántas personas sufrirían el impacto de una vulnerabilidad identificada. Las evaluaciones de impacto también son comunes en los análisis de sostenibilidad y derechos humanos, y hemos visto a algunos de los primeros desarrolladores de evaluaciones de impacto de IA crear rúbricas similares. Por ejemplo, Canadá Evaluación de impacto algorítmica proporciona una puntuación basada en preguntas cualitativas como ¿Son los clientes de esta línea de negocio particularmente vulnerables? (si o no).

Lo que importa es el potencial de daño, independientemente de si estamos discutiendo una fórmula algebraica o una red neuronal profunda.

Sin duda, existen dificultades para introducir un término vagamente definido como impacto en cualquier evaluación. El marco DREAD fue posteriormente complementado o reemplazado por STRIDE, en parte debido a desafíos con la reconciliación de diferentes creencias sobre lo que implica el modelado de amenazas. Microsoft dejó de usar DREAD en 2008.

En el campo de la IA, las conferencias y revistas ya han introducido declaraciones de impacto con diversos grados de éxito y controversia. Está lejos de ser infalible: las evaluaciones de impacto que son puramente formuladas pueden ser manipuladas fácilmente, mientras que una definición demasiado vaga puede conducir a evaluaciones arbitrarias o imposiblemente largas.

Aún así, es un importante paso adelante. El término algoritmo, como sea que se defina, no debería ser un escudo para absolver a los humanos que diseñaron e implementaron cualquier sistema de responsabilidad por las consecuencias de su uso. Esta es la razón por la que el público exige cada vez más la rendición de cuentas algorítmica, y el concepto de impacto ofrece un terreno común útil para los diferentes grupos que trabajan para satisfacer esa demanda.

cristian lum es profesor asistente de investigación en el Departamento de Informática y Ciencias de la Información de la Universidad de Pensilvania.

Rumman Chowdhury es el director del equipo de Ética, Transparencia y Responsabilidad de las Máquinas (META) en Twitter. Anteriormente fue directora ejecutiva y fundadora de Parity, una plataforma de auditoría algorítmica, y líder mundial de IA responsable en Accenture.

esconder