La ley de Benford y el arte de tener éxito en las pruebas de opción múltiple

En la década de 1930, el físico estadounidense Frank Benford descubrió que era mucho más probable que el primer dígito en ciertas listas de números fuera un 1 que un 9. Probó esta idea en una variedad de conjuntos de datos, como el área de la superficie de los ríos, un lista de constantes físicas e incluso las direcciones de las primeras 342 entradas en American Men of Science.

En cada caso, encontró el mismo patrón. Que el número 1 es el primer dígito el 30 por ciento de las veces, el número 2 es el primer dígito el 18 por ciento de las veces, el número 3 es el primer 13 por ciento de las veces y así sucesivamente hasta el número 9 que es el primero sólo el 5 por ciento del tiempo.

Continuó proponiendo la Ley de Benford: que la distribución de los primeros números en muchos conjuntos de datos, pero no en todos, sigue el mismo patrón logarítmico. Resulta que esta propiedad es cierta para muchos conjuntos de datos que involucran cantidades físicas, pero no es cierta para números generados aleatoriamente en los que la distribución de los primeros dígitos es uniforme.

Ahora, 60 años después, la ley de Benford es famosa. Su aplicación más conocida es descubrir fraudes. Eso es posible porque resulta que la distribución de los primeros dígitos en las cuentas de una empresa sigue la ley de Benford. Entonces, cualquier desviación de esto es una buena evidencia de que alguien ha estado cocinando los libros. Y esto ha llevado a la caída de varios estafadores.

Pero eso plantea una pregunta interesante: ¿en qué otro lugar se podría hacer un buen uso de la ley de Benford?

Hoy, Aaron Slepkov de la Universidad de Trent en Peterborough, Canadá, y un par de amigos presentaron una sugerencia. Señalan que las respuestas a los exámenes de opción múltiple en física deben seguir la ley de Benford. Pero si las respuestas incorrectas se eligen al azar, no seguirán la ley de Benford.

Entonces, ¿puede un estudiante emprendedor que comprenda la ley de Benford, pero poca comprensión de la física, obtener una ventaja?

Para averiguarlo, Slepkov y sus colegas simularon un examen de opción múltiple con 5000 preguntas simuladas. Para obtener las respuestas correctas, utilizaron un conjunto de datos de números tomados de las respuestas a preguntas de física real. Pero tomaron las respuestas incorrectas de un conjunto de datos de números aleatorios en el que los primeros dígitos están distribuidos uniformemente (es decir, es igualmente probable que el primer dígito sea cualquiera de los dígitos del 1 al 9).

La mejor estrategia en una prueba de opción múltiple de este tipo es elegir la respuesta con el primer dígito más bajo. Y cuando dos o más respuestas tengan el mismo dígito más bajo, elija.

Y eso es lo que hicieron Slepkov y compañía al realizar las pruebas. Los resultados son contundentes. En una prueba de opción múltiple que incluía 3 posibles respuestas, esta estrategia arrojó una puntuación del 51 por ciento. Eso es un paso claro a pesar de que las respuestas se eligieron sin ningún conocimiento de la física que se está probando.

En cierto sentido, eso no es realmente sorprendente. La ley de Benfords implica que las posibilidades de que el primer dígito sea un 1, 2 o 3 son superiores al 50 por ciento y esto produce un claro sesgo para alguien que lo sabe.

¿Pero esta estrategia funciona para exámenes reales? Slepkov y sus colegas lo probaron en un conjunto de datos de reconocidos exámenes de opción múltiple de física y sus resultados arrojaron una sorpresa.

La estrategia sugerida por la ley de Benford no ofrece ninguna ventaja. Descubrieron que era imposible aprobar un examen de física de esta manera.

¿Cómo? Slepkov y compañía examinaron más de cerca las respuestas correctas y las respuestas ficticias en estos artículos y encontraron algo sorprendente. Si bien las respuestas reales siguen la ley de Benford, las respuestas incorrectas también lo hacen. Por tanto, no hay diferencia en la distribución de los primeros dígitos que un estudiante emprendedor pueda aprovechar.

No está claro exactamente por qué las respuestas incorrectas siguen la ley de Benford. Obviamente, no son números aleatorios, entonces, ¿cómo se pueden elegir? Slepkov y sus compañeros discuten una serie de posibilidades, quizás la más obvia es que son respuestas a otras preguntas y también lo son en sí mismas cantidades físicas. Pero también hay otras posibilidades.

Eso será una decepción para las legiones de estudiantes de física que lean esto y que esperaban arreglárselas con poco o ningún conocimiento de su materia.

Para estos estudiantes, Slepkov y compañía ofrecen una pizca de esperanza. Señalan que las posibilidades de una respuesta correcta a una pregunta de física que comience con los dígitos 1, 2 o 3 son superiores al 50 por ciento. Pero igualmente, las posibilidades de que la respuesta comience con un 7, 8 o 9 es solo del 15 por ciento.

Entonces concluyen con esto:

Un consejo insignificante que podemos dar al estudiante que se preocupa por las pruebas es el siguiente: al final de un examen largo de respuesta construida, si tiene poco tiempo para verificar las respuestas a todas las preguntas, dedique tiempo a esas preguntas que arrojaron respuestas finales que tienen los dígitos iniciales más grandes; Se espera que las preguntas tengan respuestas con dígitos iniciales 7, 8 o 9 solo el 15% del tiempo.

¡Buena suerte!

Ref: arxiv.org/abs/1311.4787v1 : Ley de Benford: ejercicios de libros de texto y bancos de pruebas de opción múltiple

esconder