Los chips gráficos ayudan a procesar grandes conjuntos de datos en milisegundos

El nuevo software puede usar los procesadores gráficos que se encuentran en las computadoras de todos los días para procesar torrentes de datos más rápido de lo que normalmente es posible, abriendo nuevas formas de explorar visualmente todo, desde publicaciones de Twitter hasta donaciones políticas.

Rainmaker : Nuevas historias de tecnología de visualización en solo milisegundos para convertir decenas o cientos de millones de puntos de datos en mapas y animaciones como este ejemplo que muestra la frecuencia de la palabra lluvia en tweets en todo el país.

Conocido como MapD , o base de datos masivamente paralela, la nueva tecnología logra grandes ganancias de velocidad al almacenar los datos en la memoria integrada de las unidades de procesamiento de gráficos (GPU) en lugar de en las unidades de procesamiento central (CPU), como es convencional. El uso de una sola tarjeta GPU de alto rendimiento puede hacer que el procesamiento de datos sea hasta 70 veces más rápido.

En este momento, la tecnología prototipo se está demostrando en tweets; puede mostrar cómo se propaga un meme en tiempo real en mapas regionales o mundiales (vea Visualización de Big Data en milisegundos en computadoras baratas). Muchas visualizaciones de Twitter a gran escala, incluidos mapas y gráficos animados, tardan varios segundos o más en procesar los datos antes de que se puedan mostrar. Con MapD, un usuario puede ajustar los términos de búsqueda y otros parámetros, como el marco de tiempo o la región geográfica, y ver una nueva visualización al instante, sin tener que esperar a que se calcule y cargue cada nuevo mapa y animación.

Esta interfaz pública se puede utilizar para visualizar 50 millones de tweets geocodificados publicados entre el 28 de septiembre y el 6 de octubre. La herramienta permite a los usuarios explorar diferentes términos de búsqueda, examinar tendencias geográficas generales y ampliar cada tweet. Para cada uno de los 30 fotogramas por segundo que genera al animar Twitter, Map-D escanea todos los tweets que se han cargado en las GPU, construyendo visualizaciones como mapas de cómo se usan las palabras, que podrían incluir menciones del nombre de un producto o noticia. : Se está propagando por una región o alrededor del mundo en tiempo real.

Las [visualizaciones de Twitter existentes] que conocemos están 'enlatadas', basadas en algún cálculo previo de un mapa o imagen, en lugar de ser verdaderamente interactivas, dice Samuel Madden , profesor de informática en el MIT. Hemos construido un nuevo tipo de sistema de base de datos. Responderá y también mapeará cada solicitud escaneando cada tweet en la base de datos, lo que se puede hacer en solo unos pocos milisegundos. El sistema puede mantener el ritmo incluso si la base de datos tiene cientos de millones de tweets.

La tecnología fue ideada el año pasado por Todd Mostak, entonces un estudiante graduado de Harvard en estudios del Medio Oriente, que se sintió frustrado por el lento procesamiento que encontró mientras intentaba procesar conjuntos de datos de redes sociales de Egipto y otras partes del Medio Oriente. Al construir una herramienta para explorar conjuntos de datos como este de una manera verdaderamente interactiva, con latencias medidas en milisegundos en lugar de segundos o minutos, esperamos eliminar un cuello de botella computacional del proceso de formulación, prueba y refinamiento de hipótesis, dice Mostak.

La tecnología podría facilitar la recopilación de conocimientos del enorme corpus de información de Twitter. La combinación de datos del censo con tweets, por ejemplo, podría mostrar cómo la mención de la palabra McDonald's en los tweets geoetiquetados se relaciona con variables como los niveles de ingresos o desempleo.

Uno de los primeros en adoptar será el Fundación Sunlight , que promueve la apertura en el financiamiento de campañas. Esa organización está alimentando 22 años de datos de donaciones de campañas estatales y federales de EE. UU. A MapD, lo que proporcionará formas de variar rápidamente las visualizaciones que desglosan más de 20 millones de donaciones según el donante, la región, el funcionario electo y otros parámetros. Cada nuevo tipo de consulta generará una nueva visualización en solo milisegundos.

Con los métodos existentes, una visualización puede tardar unos segundos en cargarse, porque se tarda tanto en consultar la información en una base de datos. Un acceso más rápido permite a los investigadores probar hipótesis y refinar visualizaciones más rápidamente. Eso podría hacer que los grandes conjuntos de datos sean más útiles. Muchas computadoras portátiles incluso contienen GPU bastante poderosas, lo suficientemente rápidas como para acelerar dramáticamente la exploración interactiva de conjuntos de datos de tamaño moderado de, digamos, 20 millones de tweets, dice Mostak.

La tecnología de MapD promete hacer posibles nuevos tipos de consultas en tiempo real, dice Bob Lannon, desarrollador de Laboratorios de luz solar , que desarrolla herramientas de análisis de datos para Sunlight Foundation. Pronto podrá explorar rápidamente grandes cantidades de datos y pivotarlos, filtrarlos y resumirlos de formas que antes no estaban disponibles. Estamos emocionados de ver lo que podría significar para nuestros usuarios.

Nvidia, uno de los principales fabricantes de GPU, planea demostrar MapD en más de mil millones de tweets utilizando ocho GPU en una próxima conferencia. Los investigadores también planean hacer una demostración conjunta con Gnip, el principal revendedor de datos de redes sociales de fuentes como Twitter, Foursquare y Facebook. Elaine Ellis, portavoz de Gnip, dijo que la compañía no estaba lista para hablar sobre la colaboración.

Twitter informó recientemente que tiene 215 millones de usuarios activos mensuales que emiten más de 400 millones de tweets por día. De estos, alrededor de siete millones de tweets contienen etiquetas de geolocalización GPS, generalmente desde dispositivos móviles. Ser capaz de visualizar flujos masivos de datos de redes sociales y teléfonos móviles geográficamente identificables en tiempo real podría tener implicaciones poderosas para la epidemiología y la respuesta a desastres (consulte Big Data from Cheap Phones).

Más allá de usar chips gráficos, Madden y Mostak están trabajando con investigadores de Intel para permitir que MapD aproveche las nuevas procesadores masivamente paralelos así como los procesadores X86 ordinarios que alimentan la mayoría de las computadoras.

esconder