Las trampas emergentes de la predicción inmediata con Big Data

A principios de este año, el Banco Central Europeo realizó un taller de dos días sobre macrodatos y cómo se pueden utilizar para la previsión. El orador principal fue Hal Varian, economista jefe de Google y un desmenuzador de números del estatus de estrella de rock.

Varian describió el poder de Google Trends y Google Correlate, las herramientas de big data de la empresa. Con Google Trends, escribe una consulta y obtiene una serie de datos de actividad. Con Google Correlate, ingresa una serie de datos y obtiene una lista de consultas cuya serie de datos sigue un patrón similar, dice Google en su sitio web Correlate. En otras palabras, Google Correlate es como Google Trends al revés.

Varian mostró todo tipo de tendencias y correlaciones interesantes. Por ejemplo, las búsquedas de la palabra resaca aumentan considerablemente los sábados, alcanzan su punto máximo los domingos y descienden considerablemente los lunes. Y el patrón es similar al patrón de búsqueda de la palabra vodka, aunque con un retraso de un día (o más probablemente, una noche y una mañana después).

En otro ejemplo, mostró cómo ingresar los datos sobre las solicitudes iniciales de beneficios por desempleo en los EE. UU. arrojó una lista de 100 consultas que siguieron un patrón similar, incluida la frase registrarse para el desempleo.

Hay límites, por supuesto. Mostró una correlación falsa entre las ventas de automóviles en EE. UU. y la consulta de búsqueda de restaurantes indios entre 2004 y 2012. No está claro por qué estos dos conjuntos de datos siguen tendencias similares, pero como cualquier estadístico le dirá que correlación no significa causalidad.

El mensaje era claro. Los datos de consultas de búsqueda son muy poderosos, pero deben tratarse con cuidado y precaución.

Hoy, Paul Ormerod del University College London y un par de amigos dicen que hay otras razones para ser cautelosos. Estos muchachos han estudiado los datos de Google Flu Trends en los que Google usa la cantidad de búsquedas relacionadas con la influenza para pronosticar ahora la incidencia de la influenza en diferentes partes del mundo en un momento determinado.

Ormerod y compañía dicen que hay varios ejemplos impresionantes en los que Google ha estimado con precisión el número de casos de gripe, por ejemplo, en EE. UU. en 2011/12, Suiza 2007/8, Alemania 2005/6 y Bélgica 2007/8. Esta capacidad de monitorear la gripe ha recibido una amplia atención de los medios.

Menos conocidos son los casos en los que Google Trends sobreestimó significativamente el número real de casos de gripe. Esto ocurrió en los EE. UU. durante el invierno de 2012/13, en Suiza en 2008/9, Alemania en 2008/9 y Bélgica en 2008/9.

¿Por qué la diferencia? Ormerod y compañía plantean la hipótesis de que las personas que realizan búsquedas relacionadas con la gripe se dividen en dos categorías. Los primeros son los que sufren síntomas de gripe y el segundo grupo busca simplemente porque otras personas también están buscando, tal vez debido al fuerte interés de los medios en la gripe, por ejemplo.

Por supuesto, los datos útiles provienen del primer grupo de personas que padecen gripe. Su razón para buscar es generada internamente e independiente del mundo externo: se sienten enfermos. Por lo tanto, su patrón de búsquedas debe ser diferente al de las personas que buscan debido a influencias externas, como los informes de los periódicos. Este proceso de búsqueda social simplemente sirve para inflar los números.

Entonces, ¿cómo diferenciar a estos dos grupos? Ormerod y compañía plantean la hipótesis de que el patrón de búsquedas independientes a lo largo del tiempo diferirá sustancialmente de las búsquedas sociales. En particular, dicen que las búsquedas independientes deberían aumentar rápidamente a medida que la gripe arrasa entre la población y disminuir lentamente a medida que la enfermedad desaparece. Por el contrario, las búsquedas sociales son más simétricas.

Entonces, la simetría en los datos es una medida del nivel de búsqueda social. De hecho, muestran que esta simetría es claramente más evidente en los años en que Google Flu Trends sobreestimó sustancialmente los casos en comparación con los años en que fue más preciso.

Ese es un ejemplo interesante de los tipos de trampas que los estadísticos deben sortear cuando analizan big data. Google Trends es simplemente un ejemplo: el mundo está cada vez más inundado de grandes conjuntos de datos y de estadísticos que se lamen los labios.

No hay duda de que la información importante relacionada con la economía, la salud y otras cosas se puede extraer de los grandes datos con las herramientas adecuadas. Pero exactamente cómo se debe hacer esto de manera precisa y confiable sigue siendo objeto de un debate importante.

Eso no es del todo diferente de la situación que existe con los datos económicos actuales, que generalmente van por detrás de la economía real por al menos un mes y, a menudo, se revisan más tarde cuando las cifras son más claras. La falta de fiabilidad de estas cifras como fuente de gran preocupación para los responsables de la formulación de políticas.

Parece claro que las agencias gubernamentales, las empresas y casi cualquier persona dispuesta a jugar con los números podrá extraer un valor significativo de los datos de las consultas de búsqueda en el futuro.

Pero tenga cuidado, se necesita un cuidado considerable. No es solo el vodka lo que deja un sabor desagradable en la boca a la mañana siguiente. Muchas resacas económicas han sido causadas por la indulgencia excesiva en datos poco confiables.

Ref: arxiv.org/abs/1408.0699 : Predicción inmediata de datos económicos y sociales: cuándo y por qué fallan los datos de los motores de búsqueda, una ilustración que usa Google Flu Trends

esconder