Culturomics y el proyecto de libros de Google

Grafique la distribución en el tiempo de eventos como terremotos, incendios forestales, guerras, modas, epidemias, etc., y obtendrá una ley de potencia, una relación matemática en la que la frecuencia depende de alguna otra cantidad elevada a una determinada potencia.

Ese es un descubrimiento profundo y desconcertante. Significa que estos fenómenos del mundo real ocurren en patrones que desafían el análisis estadístico estándar. No tiene sentido, por ejemplo, describir el tiempo 'promedio' entre incendios forestales o el tamaño 'promedio' de un terremoto o el número de muertes en una guerra 'promedio'. La noción de promedio simplemente no tiene sentido.

Uno de los factores clave que impulsan el trabajo en esta área es la disponibilidad de grandes conjuntos de datos que los científicos pueden procesar para buscar leyes de potencia. Eso es relativamente sencillo de obtener para muchos fenómenos naturales como terremotos e incendios forestales, al menos en la historia reciente.

Pero tradicionalmente, los fenómenos sociales han sido mucho más difíciles de medir. Eso ha comenzado a cambiar en los últimos años gracias a las vastas bases de datos acumuladas desde la llegada de Internet. El estudio de la web ha revelado un sinfín de leyes de poder en el comportamiento humano y, más recientemente, los datos asociados con el uso de teléfonos móviles han comenzado a revelar patrones a gran escala de movilidad humana y relaciones sociales.

Ahora, el proyecto de Google Book desencadenó una nueva área de investigación. Este programa ha escaneado el contenido de unos 5 millones de libros de 40 bibliotecas universitarias de todo el mundo. Eso es aproximadamente el 4 por ciento de todos los libros publicados.

El año pasado, el equipo de libros de Google y algunos otros publicaron el primer estudio de esta base de datos. Estos chicos examinaron la ocurrencia de n-gramas, secuencias de un cierto número de palabras, este número denotado por n.

Concluyeron que su enfoque puede producir conocimientos únicos en campos como la evolución de la gramática, la adopción de tecnología, la búsqueda de la fama, la censura y la epidemiología histórica. Incluso acuñaron una palabra para describir esta nueva área de la ciencia que abarca las humanidades y las ciencias sociales: la culturomía.

Hoy, Jianbo Gao de la Wright State University en Dayton, Ohio, y algunos amigos, toman la idea de Google y la ponen en práctica. O al menos trotar algunos pasos.

Estos chicos han utilizado la base de datos de libros de Google para estudiar la aparición de dos tipos de palabras: las que describen fenómenos naturales como terremotos y huracanes; y los que describen fenómenos sociales como la guerra y el desempleo.

En particular, observan una cantidad matemática llamada parámetro de Hurst que describe la probabilidad de que un evento vuelva a ocurrir dado que ha ocurrido en el pasado. El parámetro de Hurst es una medida de la forma en que el pasado influye en el futuro, ya sea que la 'memoria' de un evento sea a largo o corto plazo en los datos.

En general, dicen, las palabras que describen fenómenos naturales parecen aparecer de una manera que tiene una memoria a largo plazo, mientras que las palabras que describen fenómenos sociales tienen sólo un efecto de memoria a corto plazo.

Eso es interesante porque implica que las fuerzas en acción que determinan cuándo la aparición de estas palabras son diferentes. Nuestro análisis sugiere ... que los fenómenos sociales tienden a seguir diferentes leyes de escala que los fenómenos naturales.

Eso tiene sentido y es interesante ver que el resultado surge de un solo cuerpo de datos.

Pero existen numerosas complejidades que hacen que el resultado sea difícil de comprender. Gao y compañía sugieren que el uso de palabras es impulsado por la ocurrencia de eventos en sí mismos. Entonces, la palabra terremoto se usa con más frecuencia después de un gran terremoto, por ejemplo.

Pero hay otros fenómenos sociales en juego que pueden enmascarar este efecto, como la forma en que se difunden las noticias, el uso de la censura, los tabúes culturales, etc. Puede ser que estos tengan un efecto mucho más poderoso en el uso de ciertas palabras.

Eso dificulta sacar conclusiones sólidas de este estudio.

Pero hace que sea aún más atractivo realizar análisis más poderosos para separar los diversos efectos culturales que están en juego. La culturómica es claramente una disciplina con futuro, aunque difícil de comprender por el momento.

Ref: arxiv.org/abs/1202.5299 : La culturomía se encuentra con la teoría fractal aleatoria: conocimientos sobre las correlaciones a largo plazo de los fenómenos sociales y naturales durante los dos últimos siglos

esconder