211service.com
Somos las palabras
Siguiendo el ejemplo de las técnicas de la genómica, un equipo de investigadores ha ideado una herramienta que ofrece datos cuantitativos sobre cómo cambia la cultura con el tiempo. La investigación en genómica analiza grandes cantidades de datos para estudiar cómo funcionan y cambian los genes; la nueva herramienta adopta un enfoque a gran escala para estudiar la frecuencia del uso de palabras a lo largo del tiempo.
El enfoque tiene sentido si las palabras se consideran una unidad de cultura, dice Erez Lieberman Aiden, uno de los líderes del proyecto. El genoma contiene información heredable, transmitida de generación en generación, dice. Las palabras que usamos, en los libros que escribimos, también se transmiten de generación en generación.
Lieberman Aiden y Jean-Baptiste Michel , ambos en Harvard Programa de dinámica evolutiva , dirigió el proyecto, que han denominado culturomics, un acrónimo que combina cultura y genómica. El primer fruto de su trabajo fue una enorme base de datos de las palabras de aproximadamente 5,2 millones de libros publicados entre 1800 y 2000, aproximadamente el cuatro por ciento de todos los libros publicados. Estos provienen del proyecto Google Books, cuya biblioteca contiene 15 millones de libros.
En el número de hoy de la revista Ciencias, los investigadores presentan su proyecto junto con algunos de los primeros resultados que han obtenido a partir de los datos. En relación con la publicación, Google está lanzando una aplicación (en www.culturomics.org ) que permite a cualquier persona acceder y analizar la base de datos completa, que incluye 2 mil millones de palabras y frases.
Los investigadores dicen que al rastrear la frecuencia del uso de palabras, los científicos sociales, informáticos y matemáticos pueden observar el surgimiento y evolución de las tendencias culturales a lo largo del tiempo. La herramienta se puede utilizar para crear líneas de tiempo de cultura, mostrando picos y valles correspondientes a un uso pesado y escaso de palabras particulares.
La represión, por ejemplo, deja una huella en la historia cultural. Los libros en alemán publicados bajo la censura nazi entre 1936 y 1944 apenas mencionan a ciertos artistas y filósofos cuyos nombres eran comunes antes y después de ese período.
Los análisis también identificaron palabras que existían en libros publicados pero que no tenían un hogar en los diccionarios, incluida la aridificación (el secado de una región) y que se pueden eliminar. Estas palabras sin ataduras no son una excepción: cuando los investigadores sumaron todas las palabras del léxico inglés, contaron más de un millón, el doble del número en los grandes diccionarios modernos. (El Diccionario de ingles Oxford , por ejemplo, tiene menos de 500.000 entradas).
Lieberman Aiden dice que espera que los investigadores de muchas disciplinas encuentren nuevas formas de explotar los datos. Es otra herramienta a disposición de los humanistas para obtener información y responder preguntas sobre la naturaleza humana.
Michel y él comenzaron a trabajar seriamente en el proyecto en 2007. No todos los libros de la biblioteca digital de Google son de dominio público, por lo que los investigadores debían tener cuidado de no infringir la ley de derechos de autor. En esencia, eliminaron las palabras del contexto de los libros, manteniendo intactos los metadatos como la fecha de publicación, y organizaron las palabras en una enorme tabla de frecuencias.
Aplicaron filtros para que su conjunto de datos fuera lo más preciso posible, eliminando, por ejemplo, los libros con fechas de publicación incorrectas o aquellos cuyo texto estaba mal transcrito por un software de reconocimiento óptico de caracteres. Después de filtrar, se quedaron con 5.195.769 libros, que contienen texto de más de 500 mil millones de palabras. Aproximadamente el 72 por ciento de ellas son palabras en inglés.
Los cálculos intensivos necesarios para reducir ese conjunto de datos en uno basado en la frecuencia de cada palabra se distribuyeron en varias máquinas en Google y se completaron rápidamente.
Jon Kleinberg , un científico informático de la Universidad de Cornell, dice que la frecuencia de palabras puede ser una poderosa herramienta cuantitativa para identificar tendencias en la cultura. Observar el comportamiento de palabras individuales a menudo puede ser un fuerte primer indicador de un fenómeno a lo largo del tiempo, dice. Los materiales escaneados, sin embargo, son solo el comienzo. Otros textos digitales proporcionan fuentes ricas para el estudio cuantitativo de la información cultural. Por ejemplo, el análisis de los términos de búsqueda de Google puede revelar lo que interesa a las personas. O un estudio a gran escala de las actualizaciones de Facebook puede servir como un control de pulso en tiempo real en las masas.
Estamos viendo cosas que nunca antes se habían escrito, dice. En Twitter o Facebook, millones de personas dicen 'Me siento feliz' o 'Me siento triste'. Hasta los últimos 10 años, ¿dónde podría haber encontrado a millones de personas escribiendo sus sentimientos?