211service.com
Las 70 bases de datos en línea que definen nuestro planeta
En abril, analizamos un ambicioso plan europeo para simular todo el planeta. La idea es explotar las enormes cantidades de datos generados por los mercados financieros, los registros de salud, las redes sociales y el monitoreo del clima para modelar el clima, las sociedades y la economía del planeta. La visión es que un sistema como este puede ayudar a comprender y predecir las crisis antes de que ocurran, de modo que los gobiernos puedan tomar las medidas adecuadas con anticipación.
Aquí hay numerosos desafíos. Nadie tiene aún la potencia informática necesaria para tal tarea, ni existen modelos que puedan modelar con precisión incluso sistemas mucho más pequeños. Pero antes de que todo eso sea posible, los investigadores deben recopilar los datos económicos, sociales y tecnológicos necesarios para alimentar esta máquina.
Hoy, tenemos un gran recorrido por este desafío de la mano de Dirk Helbing y Stefano Balietti en el Instituto Federal Suizo de Tecnología en Zúrich. Helbing es la fuerza impulsora detrás de este proyecto y el hombre que lo liderará si obtiene los mil millones de euros que necesita de la Comisión Europea.
Resulta que ya existen numerosas fuentes de datos que podrían proporcionar el combustible necesario para hacer funcionar el Earth Simulator de Helbing. En el pasado, la recopilación de datos de la actividad humana se ha visto obstaculizada en gran medida por cuestiones financieras, tecnológicas y éticas, dicen Helbing y Balietti. Ese ya no es el caso.
Si bien en el pasado ha sido difícil obtener buenos datos de experimentos de ciencias sociales, actualmente los investigadores están abrumados por ellos gracias a una nueva generación de experimentos de laboratorio, experimentos web y el estudio de juegos masivos multijugador en línea.
Estas y otras actividades ahora están produciendo cantidades masivas de datos, muchos de los cuales están disponibles gratuitamente en la web.
Por supuesto, uno de los peligros de tal enfoque es que es probable que cualquier problema ético se vea abrumado por esta marea de números. Esto debe abordarse con urgencia. Si bien Helbing y sus colegas escriben de manera persuasiva sobre los beneficios potenciales de un simulador terrestre, es difícil creer que hayan pensado lo mismo en los riesgos potenciales.
Entonces, con el fin de estimular este debate, estoy reproduciendo aquí la lista de Helbing de sitios web que son fuentes potenciales de datos para un simulador de la Tierra. Es una lectura fascinante, aunque desconcertante:
Instantáneas históricas y de Internet
Archivo de Internet / máquina Wayback
Internet Archive ofrece acceso permanente para investigadores, historiadores, académicos, personas con discapacidad y el público en general a las colecciones históricas que existen en formato digital. Fundado en 1996, ahora Internet Archive incluye textos, audio, imágenes en movimiento y software, así como archivos
Wikipedia
Wikipedia es la enciclopedia editada cooperativamente más famosa. Dado que cada cambio se almacena, el historial de las páginas web puede ofrecer una descripción detallada por temas de las referencias más importantes del pasado.
Los centros de conocimiento
Una colección de enlaces a otros recursos para encontrar páginas web tal como existían en el pasado.
Whenago
Whenago brinda acceso rápido a información histórica sobre lo que sucedió en el pasado en un día determinado.
Biblioteca digital mundial
La Biblioteca Digital Mundial (WDL) pone a disposición en Internet, de forma gratuita y en formato multilingüe, importantes materiales primarios de países y culturas de todo el mundo.
Motores de recuperación de información
Freebase
Freebase es un repositorio abierto con licencia Creative Commons de datos estructurados de más de 12 millones de entidades. Proporciona herramientas colaborativas para vincular entidades y mantenerlas actualizadas.
Motor de conocimiento computacional Wolfram Alpha
Un intento de calcular todo lo que se pueda calcular sobre cualquier cosa. Su objetivo es proporcionar una fuente única en la que todos puedan confiar para obtener respuestas definitivas a consultas fácticas.
Minería de texto en la Web
Tendencias de Google
Google Trends muestra estadísticas visuales sobre la frecuencia con la que se han buscado palabras clave en Google a lo largo del tiempo. Google Trends también muestra la frecuencia con la que han aparecido temas en las historias de Google News y en qué regiones geográficas la gente los ha buscado con mayor frecuencia.
Tendencias de la gripe de Google
Tendencias de la gripe de Google utiliza datos de búsqueda de Google agregados para estimar la actividad de la gripe. También hay datos disponibles para descargar.
El Observatorium
El proyecto Observatorium se enfoca en dinámicas complejas de redes en Internet, proponiendo monitorear su evolución en tiempo real, con el objetivo general de comprender mejor los procesos de generación de conocimiento y dinámica de opinión.
Nos sentimos bien
Una base de datos de varios millones de sentimientos humanos, extraída de blogs y páginas sociales en la Web. Usando una serie de interfaces divertidas, los sentimientos se pueden buscar y clasificar en una serie de segmentos demográficos. API web también disponible.
CyberEmotions
El proyecto CyberEmotions se centra en el papel de las emociones colectivas en la creación, formación y ruptura de comunidades electrónicas. Pone a disposición para su descarga tres conjuntos de datos que contienen noticias y comentarios del foro de BBC News, Digg y MySpace, solo para investigación académica y solo después de la presentación de un formulario de solicitud.
Intercambio de datos sociales
Datos vinculados
Los datos vinculados se trata de usar la Web para conectar datos relacionados que no estaban vinculados previamente, o usar la Web para reducir las barreras para vincular los datos actualmente vinculados mediante otros métodos.
Proyecto de red de Dataverse
Dataverse Network es una aplicación para publicar, compartir, hacer referencia, extraer y analizar datos de investigación. Facilita poner los datos a disposición de otros y permite replicar el trabajo de otros. Los investigadores y los autores de datos obtienen crédito, los editores y distribuidores obtienen crédito, las instituciones afiliadas obtienen crédito.
Data360
Data360 es un sitio web gratuito, colaborativo y de código abierto. El sitio alberga una base de datos común y compartida, que cualquier persona u organización, comprometida con la neutralidad y el no partidismo (es decir, dejar que los datos hablen), puede utilizar para presentaciones y visualizaciones.
Girar
Swivel es un sitio web donde las personas comparten informes de gráficos y números. Es gratuito para los datos públicos y cobra una tarifa mensual a las personas que desean usarlo en privado.
Muchos ojos
Una iniciativa de IBM que permite a los usuarios cargar sus conjuntos de datos y utilizar una colección de herramientas para obtener visualizaciones significativas de ellos. Cada visualización se almacena públicamente en una página dedicada, donde los usuarios pueden comentarla, calificarla y etiquetarla. La reutilización de los datos es posible y se recomienda.
Conflicto de datos
Datos de la CSCW sobre conflictos armados
CSCW y el Programa de Datos de Conflictos de Uppsala (UCDP) del Departamento de Investigación sobre la Paz y los Conflictos de la Universidad de Uppsala han colaborado en la producción de un conjunto de datos de los conflictos armados, tanto internos como externos, en el período de 1946 hasta la actualidad. Actualmente, probablemente el repositorio de conjuntos de datos más extenso disponible, en particular para datos históricos.
WarViews
El objetivo del proyecto WarViews es crear una interfaz fácil de usar para la exploración de datos GIS sobre conflictos. Puede ejecutarse en un navegador web o puede mostrarse usando Google Earth.
Los siguientes son conjuntos de datos específicos de la guerra civil con información empírica adicional:
Conjunto de datos de ubicación de grupos étnicos
Conjunto de datos de equilibrios de poder étnico
Recopilación de conjuntos de datos y libros de códigos actualizados del Programa de datos sobre conflictos de Uppsala (UCDP) .
ACLED
Parcialmente contenido en el conjunto de datos PRIO, ACLED (Conjunto de datos de eventos y ubicación de conflictos armados) está diseñado para análisis de conflictos desagregados y mapeo de crisis. Este conjunto de datos codifica la ubicación de todos los eventos de conflicto notificados en 50 países del mundo en desarrollo. Actualmente, los datos se codifican de 1997 a 2009 y el proyecto continúa retroactuando la información sobre conflictos de los estados africanos hasta el año de la independencia.
CERAC
El Centro de Recursos de Análisis de Conflictos alberga varios conjuntos de datos sobre conflictos entre países y algunos conjuntos de datos de países en particular. Los repositorios también tienen conjuntos de datos de inestabilidad política y conflictos.
El archivo de datos de series temporales transnacionales
El Archivo de datos de series temporales transnacionales proporciona datos anuales para una variedad de países desde 1815 hasta el presente. Citado con frecuencia, es uno de los principales conjuntos de datos sobre violencia política, según Robert Bates de la Universidad de Harvard. Es posiblemente el conjunto de datos de eventos más utilizado según Henrik Urdal, Instituto Internacional de Investigación para la Paz, Oslo (PRIO).
Repositorios específicos de cada país: Irak , Afganistán
Recopilación de conjuntos de datos de actos terroristas .
Datos en economía y finanzas
Bloomberg
Proveedor internacional de datos en tiempo real para tomadores de decisiones en finanzas, negocios y gobierno.
Datos de Maddison
Estadísticas históricas sobre PIB y datos de población.
Estadísticas de la UNCTAD
El manual de estadísticas de la UNCTAD en línea proporciona series cronológicas de datos económicos e indicadores de desarrollo, que en algunos casos se remontan a 1950; la base de datos en línea de estadísticas de precios de los productos básicos; UNCTAD-TRAINS en Internet (Sistema de Información y Análisis del Comercio) para las medidas de control del comercio, así como los flujos de importación por origen para más de 130 países; la base de datos de Inversión Extranjera Directa (IED).
Portal de estadísticas de la OCDE
Gran colección de conjuntos de datos que cubren la economía y la demografía. Las extracciones están disponibles gratuitamente, el acceso completo requiere suscripción.
EUROSTAT
Estadísticas detalladas sobre la UE y los países candidatos, y varias publicaciones estadísticas a la venta.
¿Dónde está George?
Sistema de rastreo espacial para dólares estadounidenses y canadienses.
Eurobilltracker
Sistema de seguimiento espacial de billetes en euros.
Datos de colaboración científica
ISI Web of Knowledge
Fuente integral de información en ciencias, ciencias sociales, artes y humanidades. Abarca varios conjuntos de datos, entre los cuales los siguientes son quizás los más notables:
Informes de citas de revistas. Permite evaluar y comparar revistas utilizando datos de citas extraídos de más de 7500 revistas académicas y técnicas;
Web de la Ciencia. Consta de siete bases de datos que contienen información recopilada de miles de revistas académicas, libros, series de libros, informes, conferencias y más.
Google Académico
Google Scholar es un motor de búsqueda especializado en literatura científica. Indexa diferentes fuentes (artículos, libros, resúmenes, tesis, etc.) de varias disciplinas y las ordena según número de citas, autor y factor de impacto de la revista.
Scholarometer
Scholarometer es una herramienta social que facilita el análisis de citas y ayuda a evaluar el impacto de las publicaciones de un autor. Funciona como un complemento de software para el navegador Firefox.
Scopus
Scopus es una base de datos muy grande de resúmenes y citas de literatura de investigación. Está disponible solo para usuarios registrados.
Ciencia viva
Living Science es un observatorio científico global en tiempo real basado en publicaciones enviadas a arXiv.org. Cubre la presentación en tiempo real (diaria) de publicaciones en áreas tan diversas como Física, Astronomía, Ciencias de la Computación, Matemáticas y Biología Cuantitativa. Actualmente, los contenidos se actualizan dinámicamente cada día. Living Science es una poderosa herramienta de análisis para identificar la magnitud y el impacto del trabajo científico en todo el mundo.
Ciencias Sociales
ICPSR de la Universidad de Michigan
ICPSR ofrece más de 500.000 archivos digitales que contienen datos de investigación en ciencias sociales. Las disciplinas representadas incluyen ciencias políticas, sociología, demografía, economía, historia, gerontología, justicia penal, salud pública, política exterior, terrorismo, salud y atención médica, educación temprana, educación, minorías raciales y étnicas, psicología, derecho, abuso de sustancias y mentales. salud y más.
Centro de datos del Reino Unido de la Universidad de Essex
La mayor colección de datos de investigación digital del Reino Unido en ciencias sociales y humanidades.
Archivo de datos de UC de Berkeley
Las existencias de datos de UC DATA se encuentran principalmente en las áreas de Ciencias Políticas, Sociales y de la Salud.
El Servicio de Datos Económicos y Sociales (ESDS)
El Servicio de Datos Económicos y Sociales (ESDS) es un servicio de datos nacionales que proporciona acceso y apoyo a una amplia gama de datos económicos y sociales clave, tanto cuantitativos como cualitativos, que abarcan muchas disciplinas y temas. Contiene un mapa de conjuntos de datos adicionales de varios países europeos.
CESSDA
Amplias colecciones de datos que incluyen encuestas sociológicas, estudios electorales, estudios longitudinales, encuestas de opinión y datos de censos. Entre los materiales se encuentran datos internacionales y europeos como la Encuesta Social Europea, los Eurobarómetros y el Programa de Encuestas Sociales Internacionales.
Datos del recordatorio
Gapminder es una tecnología popular y una aplicación web para la visualización cruzada de tendencias en series temporales de datos. También abre un archivo de múltiples conjuntos de datos sobre diversos indicadores socioeconómicos.
Encuesta de valor mundial
La Encuesta sobre el valor mundial proporciona datos sobre los valores y los cambios culturales en las sociedades de todo el mundo.
Datos urbanos
Base de datos del Observatorio Urbano Global
El Observatorio Urbano Global (GUO) ofrece indicadores urbanos orientados a las políticas, estadísticas y otra información urbana.
Observatorio Urbano
Conjuntos de datos basados en EE. UU. Sobre riqueza, innovación y delincuencia en las ciudades.
Datos de tráfico
Licencia de conducir
El programa Next Generation Simulation (NGSIM) fue iniciado por el Departamento de Transporte de los Estados Unidos (US DOT). El programa desarrolló un núcleo de algoritmos de comportamiento abiertos en apoyo de la simulación de tráfico, y recopiló datos de trayectoria y trazas primarias de alta calidad destinados a respaldar la investigación y prueba de los nuevos algoritmos.
Oficina Federal de Carreteras de Suiza FEDRO
La Oficina Federal de Carreteras de Suiza ofrece una descripción completa de los flujos de tráfico en Suiza. Los datos se recopilan mediante estaciones de conteo automático de tráfico permanente y se complementan con controles manuales regulares desde 1961.
Datos de tráfico
El objetivo del proyecto International Traffic Database (ITDb) es proporcionar datos de tráfico a varios grupos (investigadores, profesionales, entidades públicas) en un formato acorde a sus necesidades particulares, que van desde los datos de medición sin procesar hasta el análisis estadístico. ITDb promueve un formato de provisión de datos de tráfico flexible basado en las necesidades del usuario y los hábitos estándar.
Cámara de compensación de datos de transporte
La Cámara de Compensación de Datos de Transporte del Centro Aeroespacial Alemán es el primer punto de contacto para obtener una descripción general rápida de los datos disponibles. Está dirigido tanto a organizaciones que recopilan datos relevantes para el transporte como a aquellas que desean utilizar los resultados de dicha investigación. La información ofrecida incluye la preparación de metadatos detallados sobre los conjuntos de datos, así como notas sobre posibles usos y fuentes.
Además, el Regiolab Delft
La iniciativa regiolab-delft comenzó poco después de 2000 como un proyecto conjunto liderado por TU Delft en asociación con el municipio de Delft, la escuela de investigación TRAIL, la provincia de Holanda Meridional, el Ministerio de Transporte y varios socios industriales. El conjunto de datos archivado consta de más de 6 años de velocidad promedio de 1 minuto y datos de flujo agregados de bucles inductivos densamente espaciados en la red de autopistas en la provincia de Holanda Meridional y otros datos de controladores de intersecciones, cámaras de detección de matrículas y mucho más.
RITA
La Administración de Investigación y Tecnología Innovadora (RITA) del Departamento de Transporte de los EE. UU. Ofrece varios conjuntos de datos sobre estadísticas de tráfico marítimo, de carga, de aerolíneas, de pasajeros, etc.
Archivo de datos de viajes de ETH (ETHTDA)
El Archivo de datos de viajes de ETH (ETHTDA) es una plataforma virtual que permite a los usuarios finales navegar por los datos de viajes archivados en la Web y permite un análisis estadístico simple.
Archivo de encuestas de viajes metropolitanos
Metropolitan Travel Survey Archive para almacenar, preservar y poner a disposición del público, a través de Internet, las encuestas de viajes realizadas por áreas metropolitanas, estados y localidades.
Infoblu
Infoblu es una empresa privada que ofrece servicios de monitoreo de tráfico en tiempo real para Italia. Todos los servicios están disponibles por una tarifa.
Mapas abiertos
mapas de Google
Servicio de mapas de fama mundial. Ofrece varios servicios adicionales como: Street View, contenido subido por el usuario (fotos, comentarios y calificaciones) y superposiciones personalizadas a través de apis de servicio.
OpenStreetMap
OpenStreetMap (de UCL) es un mapa editable gratuito de todo el mundo. OpenStreetMap te permite ver, editar y usar datos geográficos de forma colaborativa desde cualquier lugar de la Tierra.
Tracksource Brasil
Tracksource es un proyecto colaborativo destinado a la creación y distribución de mapas gratuitos de Brasil.
Datos logísticos
Encuesta Nacional de Viajes de Hogares
La Encuesta Nacional de Viajes de Hogares (NHTS, por sus siglas en inglés) recopila datos sobre viajes locales y de larga distancia del público estadounidense. La encuesta conjunta recopila datos relacionados con el viaje, como el modo de transporte, la duración, la distancia y el propósito del viaje. También recopila datos demográficos, geográficos y económicos con fines de análisis. Es parte de RITA.
Encuesta sobre el flujo de productos básicos
La Encuesta de Flujo de Productos Básicos (CFS) es la fuente principal de datos a nivel nacional y estatal sobre los envíos de carga nacional de los establecimientos estadounidenses en las industrias minera, manufacturera, mayorista, auxiliares y minoristas seleccionadas. Se proporcionan datos sobre los tipos, orígenes y destinos, valores, pesos, modos de transporte, distancia enviada y toneladas-millas de mercancías enviadas. Es parte de RITA y se realiza cada cinco años (último muestreo en 2007).
Datos climáticos
Julich
Datos climáticos del Centro de Investigación Julich.
Google.org
Google presenta sus proyectos filantrópicos basados en datos, entre los que se encuentran dos observatorios satelitales ambientales:
Earth Engine: para monitorear las tendencias de la deforestación mundial;
Crisis Response: para monitorear el derrame de petróleo de la plataforma hundida de Deep Horizon.
Minería de la realidad
Minería de la realidad
Datos de comportamiento recopilados de 100 teléfonos móviles durante 9 meses. Incluye estadísticas de proximidad y uso del teléfono. Dos conjuntos de datos anonimizados disponibles: usuario único (MySQL) y global (Matlab).
Otras iniciativas de datos abiertos
Data.gov
Amplia colección de conjuntos de datos públicos de EE. UU. Disponibles para investigación.
Data.gov.uk
Amplia colección de conjuntos de datos públicos del Reino Unido disponibles para investigación.
Profundizando en los datos
Lanzado por la National Science Foundation (NSF), ofrece una colección de diversos repositorios de datos.
Blog de datos de guardián
Iniciativa de periodismo de datos que publica conjuntos de datos de interés público (principalmente relevantes para el Reino Unido) junto con su análisis. También están presentes algunas colaboraciones con artistas de visualización de datos.
Datos públicos de Google
Google ofrece varios conjuntos de datos grandes sobre diversos indicadores socioeconómicos mundiales y proporciona herramientas para una fácil visualización.
Ref: arxiv.org/abs/1012.0178 : De la minería de datos sociales a la previsión de crisis socioeconómicas