La debacle del examen del Reino Unido nos recuerda que los algoritmos no pueden arreglar los sistemas rotos

Sra. Tecnología | AP, Getty

Cuando el Reino Unido se dispuso por primera vez a encontrar una alternativa a las calificaciones de finalización de estudios, la premisa parecía perfectamente razonable. El covid-19 había descarrilado cualquier oportunidad para que los estudiantes tomaran los exámenes en persona, pero el gobierno aún quería una forma de evaluarlos para las decisiones de admisión a la universidad.

La principal de sus preocupaciones era una cuestión de equidad. Los profesores ya habían hecho predicciones sobre las calificaciones de los exámenes de sus alumnos, pero estudios previos había demostrado que estos podrían estar sesgados en función de la edad, el género y el origen étnico. Después de una serie de paneles de expertos y consultas , Ofqual, la Oficina de Regulación de Calificaciones y Exámenes, recurrió a un algoritmo. A partir de ahí, las cosas salieron terriblemente mal.

Casi el 40% de los estudiantes terminaron recibiendo puntajes de exámenes rebajados de las predicciones de sus maestros, amenazando con costarles sus lugares universitarios. Análisis del algoritmo también reveló que había dañado desproporcionadamente a los estudiantes de la clase trabajadora y las comunidades desfavorecidas e inflado los puntajes de los estudiantes de las escuelas privadas. El 16 de agosto, cientos corearon A la mierda el algoritmo frente al edificio del Departamento de Educación del Reino Unido en Londres para protestar por los resultados. Al día siguiente, Ofqual había revocó su decisión . Los estudiantes ahora recibirán los puntajes previstos por su maestro o el algoritmo, lo que sea más alto.

La debacle se siente como un ejemplo de libro de texto de discriminación algorítmica . Los que tienen desde disecado el algoritmo han señalado lo predecible que era que las cosas salieran mal; se entrenó, en parte, no solo en el desempeño académico anterior de cada estudiante, sino también en el desempeño anterior del examen de ingreso de la escuela del estudiante. El enfoque solo podría haber llevado al castigo de los valores atípicos sobresalientes a favor de un promedio consistente.

Pero la raíz del problema es más profunda que los datos incorrectos o el diseño algorítmico deficiente. Los errores más fundamentales se cometieron antes de Ofqual incluso optó por seguir un algoritmo. En el fondo, el regulador perdió de vista el objetivo final: ayudar a los estudiantes a hacer la transición a la universidad en tiempos de ansiedad. En esta situación sin precedentes, el sistema de exámenes debería haber sido completamente repensado.

Simplemente hubo una falla espectacular de la imaginación, dice Hye Jung Han, investigadora de Human Rights Watch en los EE. UU., que se enfoca en los derechos de los niños y la tecnología. Simplemente no cuestionaron la premisa misma de muchos de sus procesos, incluso cuando deberían haberlo hecho.

En un nivel básico, Ofqual se enfrentó a dos objetivos potenciales después de la cancelación de los exámenes. El primero fue evitar la inflación de calificaciones y estandarizar las puntuaciones; el segundo era evaluar a los estudiantes con la mayor precisión posible de una manera útil para la admisión a la universidad. Bajo una directiva del secretario de Estado, priorizó el primer objetivo. Creo que realmente ese fue el momento en que surgió el problema, dice Hannah Fry, profesora titular en el University College London y autora de Hello World: Cómo ser humano en la era de la máquina . Estaban optimizando para lo incorrecto. Entonces, básicamente, no importa cuál sea el algoritmo, nunca iba a ser perfecto.

Sólo hubo un espectacular fracaso de la imaginación.

Hye Jung Han

El objetivo moldeó completamente la forma en que Ofqual abordó el problema. La necesidad de estandarización anuló todo lo demás. Luego, el regulador eligió lógicamente una de las mejores herramientas de estandarización, un modelo estadístico, para predecir una distribución de puntajes de exámenes de ingreso para 2020 que coincidiría con la distribución de 2019.

Si Ofqual hubiera elegido el otro objetivo, las cosas habrían sido muy diferentes. Probablemente habría desechado el algoritmo y trabajado con universidades para cambiar la forma en que se ponderan las calificaciones de los exámenes en sus procesos de admisión. Si solo miraron un paso más allá de su problema inmediato y observaron cuál es el propósito de las calificaciones (ir a la universidad, poder conseguir trabajo), podrían haber trabajado de manera flexible con universidades y lugares de trabajo para decir: 'Oye, este año las calificaciones se verán diferentes, lo que significa que cualquier decisión importante que tradicionalmente se tomó en función de las calificaciones también debe ser flexible y debe cambiarse, dice Han.

Al fijarse en la justicia percibida de una solución algorítmica, Ofqual se cegó ante las flagrantes desigualdades del sistema en general. Hay una injusticia inherente en definir el problema para predecir las calificaciones de los estudiantes como si no hubiera ocurrido una pandemia, dice Han. En realidad, ignora lo que ya sabemos, que es que la pandemia expuso todas estas brechas digitales en la educación.

Los fracasos de Ofqual no son únicos. en un informe publicado la semana pasada por el Instituto de Internet de Oxford, los investigadores descubrieron que una de las trampas más comunes en las que caen las organizaciones cuando implementan algoritmos es la creencia de que solucionarán problemas estructurales realmente complejos. Estos proyectos se prestan a una especie de pensamiento mágico, dice Gina Neff, profesora asociada del instituto, coautora del informe. De alguna manera, el algoritmo simplemente eliminará cualquier sesgo del maestro, eliminará cualquier intento de hacer trampa o jugar con el sistema.

Creo que es la primera vez que una nación entera ha sentido la injusticia de un algoritmo simultáneamente.

hannah freír

Pero la verdad es que los algoritmos no pueden arreglar los sistemas rotos. Heredan las fallas de los sistemas en los que están ubicados. En este caso, los estudiantes y su futuro finalmente fueron los más afectados. Creo que es la primera vez que una nación entera ha sentido la injusticia de un algoritmo simultáneamente, dice Fry.

A Fry, Neff y Han les preocupa que este no sea el final de los errores algorítmicos. A pesar de la nueva conciencia pública de los problemas, diseñar e implementar algoritmos justos y beneficiosos es francamente muy difícil.

No obstante, insta a las organizaciones a aprovechar al máximo las lecciones aprendidas de esta experiencia. Primero, vuelve al objetivo y piensa críticamente si es el correcto. En segundo lugar, evalúe los problemas estructurales que deben solucionarse para lograr el objetivo. (Cuando el gobierno canceló el examen en marzo, esa debería haber sido la señal para idear otra estrategia para permitir que una ecología mucho más grande de tomadores de decisiones evalúe de manera justa el desempeño de los estudiantes, dice Neff).

Finalmente, elija una solución que sea fácil de entender, implementar y cuestionar, especialmente en tiempos de incertidumbre. En este caso, dice Fry, eso significa renunciar al algoritmo en favor de las puntuaciones previstas por el profesor: no digo que sea perfecto, dice, pero al menos es un sistema simple y transparente.

esconder