La minería de datos revela eventos históricos en registros de archivos gubernamentales

El estudio de la historia política está experimentando una revolución. La fuerza impulsora detrás de este cambio es la disponibilidad de registros electrónicos de la actividad del gobierno y la capacidad de procesar estos datos en formas que nunca antes habían sido posibles.

Los historiadores tienen acceso inmediato a informes de noticias contemporáneos de importantes eventos mundiales. Pero estos informes deben calibrarse comparándolos con los registros gubernamentales de la época, que pueden diferir en formas importantes y desconocidas. Pero estos registros no suelen hacerse públicos hasta algunos años después. La gran cantidad de documentos gubernamentales dificulta este proceso, ya que es demasiado fácil para los investigadores pasar por alto algo importante.

Por lo tanto, una forma automatizada de buscar estos registros gubernamentales en busca de eventos significativos sería de gran utilidad.

La minería de datos revela el pico en las comunicaciones del gobierno durante la caída de Saigón (arriba) pero poco significativo en relación con Finlandia (abajo).

Hoy, Yuanjun Gao de la Universidad de Columbia en Nueva York y algunos amigos dicen que han desarrollado un conjunto de herramientas estadísticas que pueden hacer este trabajo. Probaron la técnica en registros electrónicos del gobierno de EE. UU. publicados por los Archivos Nacionales y compararon los resultados con registros de noticias contemporáneos.

El trabajo es posible gracias al hecho de que el Departamento de Estado de EE. UU. ha estado almacenando comunicaciones clasificadas electrónicamente desde 1973. Muchos de los registros que datan de 1973 a 1977 ahora están disponibles públicamente y consisten en 1,4 millones de cables desclasificados y los metadatos asociados con 0,4 millones de documentos. entregado por valija diplomática.

A estos registros electrónicos se les asignan etiquetas relacionadas con su tema. Por lo tanto, las comunicaciones relacionadas con Vietnam del Sur se etiquetan como VS, las relacionadas con la Asamblea General de las Naciones Unidas se etiquetan como UNGA, las relacionadas con Finlandia se etiquetan como FI, y así sucesivamente.

Eso permite a los investigadores rastrear las comunicaciones relacionadas con temas específicos sin conocer los detalles de los mensajes en sí.

Trazar la cantidad de mensajes a lo largo del tiempo revela algunos patrones interesantes. Por ejemplo, revela un aumento en las comunicaciones relacionadas con Vietnam del Sur en abril de 1975 en el momento de la caída de Saigón.

Las comunicaciones relacionadas con la asamblea general de la ONU se disparan a intervalos regulares correspondientes a las fechas de las asambleas que ocurren cada año. Este patrón incluye un pico adicional en abril-mayo de 1974 que corresponde a una sesión especial de la ONU convocada por Argelia para discutir sus demandas de apoyo para un Nuevo Orden Económico Internacional.

Por el contrario, las etiquetas asociadas con Finlandia entre 1973 y 1977 no muestran picos ni patrones especiales, lo que refleja la estabilidad de la nación en ese momento.

Los picos importantes son relativamente fáciles de ver visualmente, pero Gao y compañía han desarrollado herramientas para detectarlos automáticamente y clasificar su importancia comparándolos con el nivel de actividad de fondo en ese momento.

Eso le permite al equipo producir una clasificación de los 30 eventos más importantes durante este período.

No todos estos picos corresponden a eventos mundiales importantes. Por ejemplo, los dos picos más significativos se relacionan con cuestiones administrativas como el transporte y los cambios en el sistema de registro de visas.

Pero la clasificación encuentra una amplia gama de otros eventos importantes, como la priorización de los derechos humanos por parte de la administración Carter, el presidente de Egipto, la visita sorpresa de Anwar Sadat a Israel en 1977, la crisis de los Boat People del sudeste asiático de 1975-76, el Yom de 1973. la Guerra de Kippur y la retirada de Portugal de Angola en 1975-1976, y así sucesivamente.

Ese es un trabajo interesante que debería cambiar la forma en que los historiadores y los científicos sociales hacen su trabajo. Y esto es sólo el principio. Este tipo de métodos automatizados también pueden mostrar cómo los humanos usaron el proceso de etiquetado en ese momento, con qué frecuencia se cometieron errores y si ciertos tipos de mensajes pueden haberse perdido.

Y a medida que se publiquen registros electrónicos más detallados, los investigadores podrán desarrollar formas más avanzadas de extraerlos. La historia política nunca será la misma.

Ref: arxiv.org/abs/1712.07319 : Eventos Mineros con Documentos Diplomáticos Desclasificados

esconder