La minería de datos revela la forma en que los humanos se evalúan unos a otros

La forma en que evaluamos el desempeño de otros humanos es uno de los mayores misterios de la psicología cognitiva. Este proceso ocurre continuamente a medida que juzgamos la capacidad de las personas para realizar ciertas tareas, evaluando a todos, desde electricistas y conductores de autobuses hasta contadores y políticos.

El problema es que solo tenemos acceso a un conjunto limitado de datos sobre el desempeño de un individuo, algunos directamente relevantes, como el historial de manejo de un taxista, pero muchos de ellos irrelevantes, como el sexo del conductor. De hecho, la cantidad de información puede ser tan grande que nos veamos obligados a decidir utilizando un pequeño subconjunto de la misma. ¿Cómo se toman esas decisiones?

Hoy recibimos una especie de respuesta gracias al trabajo de Luca Pappalardo en la Universidad de Pisa en Italia y algunos amigos que han estudiado este problema en el ámbito deportivo, donde las cuestiones de rendimiento se ponen de relieve. Su trabajo proporciona una visión única de la forma en que evaluamos el desempeño humano y cómo se relaciona con medidas objetivas.

Los factores que utilizan los observadores humanos para calificar el desempeño son un pequeño subconjunto de medidas objetivas.

El rendimiento deportivo es un área en la que se han recopilado registros detallados del rendimiento individual durante algunos años. Pappalardo y compañía se enfocan en el fútbol, ​​el deporte más popular del mundo, y en particular en el desempeño de los jugadores que compiten en la cima del deporte en la liga de fútbol de la Serie A de Italia.

Durante muchos años, los periódicos deportivos italianos han calificado el desempeño de los jugadores en cada partido en una escala de 0 a 10, donde 0 es inolvidablemente malo y 10 inolvidablemente asombroso. Este sistema se basa en el sistema italiano de calificaciones escolares, donde un 6 indica que un alumno se ha desempeñado adecuadamente. La forma en que se califica a los jugadores no se publica, pero presumiblemente la hace un periodista deportivo experto.

En los últimos años, los mismos jugadores también han sido evaluados mediante un sistema de medición objetivo que cuenta el número de pases, tiros, entradas, atajadas, etc. que realiza cada jugador. Esta medida técnica tiene en cuenta 150 parámetros diferentes y proporciona una descripción completa del rendimiento de cada jugador en el campo.

La pregunta que se hacen Pappalardo y compañía es cómo se correlacionan las calificaciones de los periódicos con las calificaciones técnicas y si es posible utilizar los datos técnicos para comprender los factores que influyen en las calificaciones humanas.

Los investigadores comienzan con el conjunto de datos técnicos de 760 juegos en la Serie A en las temporadas 2015-16 y 2016-17. Consiste en más de un millón de puntos de datos que describen eventos en el campo con marca de tiempo. Usan los datos para extraer un vector de rendimiento técnico para cada jugador en cada juego; esto actúa como una medida objetiva de su desempeño.

Los investigadores también tienen las calificaciones de cada jugador en cada juego de tres periódicos deportivos: Gazzetta dello Sport , Corriere dello Sport , y tuttosport .

Las calificaciones de los periódicos tienen algunas propiedades estadísticas interesantes. Solo el 3 por ciento de las calificaciones son inferiores a 5 y solo el 2 por ciento superiores a 7. Cuando las calificaciones se clasifican de acuerdo con el sistema de calificaciones de la escuela, como malas si son inferiores a 6 y buenas si son superiores a 7, malas las calificaciones resultan ser tres veces más comunes que las buenas.

En general, los periódicos califican un desempeño similar, aunque puede haber discrepancias ocasionales de hasta 6 puntos. Observamos una buena concordancia en las calificaciones pareadas entre los periódicos, encontrando que las calificaciones (i) tienen distribuciones idénticas; (ii) están fuertemente correlacionados entre sí; y (iii) normalmente difieren en una unidad de calificación (0,5), dicen Pappalardo y compañía.

Para analizar la relación entre las calificaciones de los periódicos y las calificaciones técnicas, Pappalardo y sus colegas utilizan el aprendizaje automático para encontrar correlaciones en los conjuntos de datos. En particular, crean un juez artificial que intenta reproducir las calificaciones de los periódicos a partir de un subconjunto de los datos técnicos.

Esto conduce a un resultado curioso. El juez artificial puede igualar las calificaciones de los periódicos con un grado razonable de precisión, pero no tan bien como los periódicos se igualan entre sí. El desacuerdo indica que las características técnicas por sí solas no pueden explicar completamente el proceso de calificación [del periódico], dicen Pappalardo y compañía.

En otras palabras, las calificaciones de los periódicos deben depender de factores externos que no son captados por los datos técnicos, como la expectativa de un resultado determinado, el sesgo personal, etc.

Para probar esta idea, Pappalardo y compañía recopilaron otro conjunto de datos que captura factores externos. Estos incluyen la edad, la nacionalidad y el club del jugador, el resultado esperado del juego estimado por los corredores de apuestas, el resultado real del juego y si el juego se juega en casa o fuera.

Cuando se incluyen estos datos, el juez artificial lo hace mucho mejor. Al agregar información contextual, el acuerdo estadístico entre el juez artificial y el juez humano aumenta significativamente, dice el equipo.

De hecho, pueden ver claramente ejemplos de la forma en que los factores externos influyen en las calificaciones de los periódicos. En todo el conjunto de datos, solo dos jugadores han obtenido un 10 perfecto. Uno de ellos fue el delantero argentino Gonzalo Higuaín, que jugó en el Napoli. En esta ocasión, anotó tres goles en un partido y, al hacerlo, se convirtió en el máximo goleador de la historia en una temporada en la Serie A. Ese hito fue casi seguro la razón de la calificación perfecta, pero no hay forma de deducirlo. puntuación del conjunto de datos técnicos.

Una pregunta importante es qué factores usa el juez artificial para igualar las calificaciones del periódico. Observamos que la mayor parte de la atención de un juez humano se dedica a una pequeña cantidad de características, y la gran mayoría de las características técnicas se consideran de manera deficiente o se descartan durante el proceso de evaluación, dicen Pappalardo y compañía.

Entonces, para los jugadores delanteros atacantes, los periódicos tienden a calificarlos utilizando factores fáciles de observar, como la cantidad de goles marcados; califican a los porteros según el número de goles encajados. Los centrocampistas tienden a ser calificados por parámetros más generales, como la diferencia de goles.

Eso tiene sentido: los observadores humanos tienen un ancho de banda limitado y probablemente solo sean capaces de observar una pequeña fracción de los indicadores de rendimiento. De hecho, el equipo dice que el juez artificial puede igualar las calificaciones humanas utilizando menos de 20 de los factores técnicos y externos.

Ese es un resultado fascinante que tiene implicaciones importantes para la forma en que pensamos sobre las calificaciones de desempeño. El objetivo, por supuesto, es encontrar formas más efectivas de evaluar el desempeño en todo tipo de situaciones. Pappalardo y compañía creen que su trabajo tiene una relación significativa con esto. Este documento se puede utilizar para empoderar a los evaluadores humanos para que comprendan la lógica subyacente de sus decisiones, concluyen.

Ref: arxiv.org/abs/1712.02224 : Percepción humana del desempeño

esconder