211service.com
El sistema de almacenamiento para 'Big Data' acelera drásticamente el acceso a la información
A medida que las computadoras ingresan a áreas cada vez más importantes de nuestra vida diaria, la cantidad de datos que producen ha aumentado enormemente.
Pero para que estos macrodatos sean útiles, primero deben analizarse, lo que significa que deben almacenarse de tal manera que se pueda acceder a ellos rápidamente cuando sea necesario.
Anteriormente, los datos a los que era necesario acceder rápidamente se almacenaban en la memoria principal de una computadora o en la memoria dinámica de acceso aleatorio (DRAM), pero el tamaño de los conjuntos de datos que se están produciendo ahora lo hace imposible.
Entonces, en cambio, la información tiende a almacenarse en varios discos duros en varias máquinas a través de una red Ethernet. Sin embargo, esta arquitectura de almacenamiento aumenta considerablemente el tiempo que se tarda en acceder a la información, según Sang-Woo Jun, estudiante de posgrado en el Laboratorio de Ciencias de la Computación e Inteligencia Artificial ( CSAIL ) en el MIT.
Foto cortesía de los investigadores.
El almacenamiento de datos en una red es lento porque hay un retraso de tiempo adicional significativo en la gestión del acceso a los datos en varias máquinas, tanto en software como en hardware, dice Jun. Y si los datos no caben en la DRAM, debe ir a un almacenamiento secundario (discos duros, posiblemente conectados a una red) que es muy lento.
Ahora, Jun, el estudiante graduado de CSAIL Ming Liu, y Arvind, profesor de Ingeniería Eléctrica y Ciencias de la Computación Charles W. y Jennifer C. Johnson, han desarrollado un sistema de almacenamiento para análisis de big data que puede acelerar drásticamente el tiempo que lleva informacion de acceso.
El sistema, que se presentará en febrero en el Simposio internacional sobre matrices de puertas programables en campo en Monterey, California, se basa en una red de dispositivos de almacenamiento flash.
Los sistemas de almacenamiento flash funcionan mejor en tareas que implican encontrar piezas aleatorias de información dentro de un gran conjunto de datos que otras tecnologías. Por lo general, se puede acceder de forma aleatoria en microsegundos. Esto se compara con el tiempo de búsqueda de datos de los discos duros, que normalmente es de cuatro a 12 milisegundos cuando se accede a datos desde ubicaciones impredecibles bajo demanda.
Los sistemas flash también son no volátiles, lo que significa que no pierden la información que contienen si la computadora está apagada.
En el sistema de almacenamiento, conocido como BlueDBM, o Blue Database Machine, cada dispositivo flash está conectado a un chip de matriz de puerta programable en campo (FPGA) para crear un nodo individual. Los FPGA se utilizan no solo para controlar el dispositivo flash, sino que también son capaces de realizar operaciones de procesamiento en los datos en sí, dice Jun.
Esto significa que podemos hacer algún procesamiento cerca de donde se almacenan los datos, por lo que no siempre tenemos que mover todos los datos a la máquina para trabajar en ellos, dice.
Es más, los chips FPGA se pueden vincular entre sí mediante una red en serie de alto rendimiento, que tiene una latencia muy baja o un retraso de tiempo, lo que significa que se puede acceder a la información de cualquiera de los nodos en unos pocos nanosegundos. Entonces, si conectamos todas nuestras máquinas usando esta red, significa que cualquier nodo puede acceder a los datos de cualquier otro nodo con muy poca degradación del rendimiento, [y] se sentirá como si los datos remotos estuvieran aquí localmente, dice Jun.
El uso de múltiples nodos permite al equipo obtener el mismo ancho de banda y rendimiento de su red de almacenamiento que las máquinas mucho más caras, agrega.
El equipo ya ha construido un prototipo de red de cuatro nodos. Sin embargo, esto se construyó con piezas de hace 5 años y, como resultado, es bastante lento.
Así que ahora están construyendo un prototipo de red de 16 nodos mucho más rápido, en el que cada nodo funcionará a 3 gigabytes por segundo. La red tendrá una capacidad de 16 a 32 terabytes.
Utilizando el nuevo hardware, Liu también está construyendo un sistema de base de datos diseñado para su uso en análisis de big data. El sistema utilizará los chips FPGA para realizar el cálculo de los datos a medida que la computadora host accede a ellos, para acelerar el proceso de análisis de la información, dice Liu.
Si somos lo suficientemente rápidos, si agregamos la cantidad correcta de nodos para darnos suficiente ancho de banda, podemos analizar datos científicos de gran volumen a alrededor de 30 cuadros por segundo, lo que nos permite responder las consultas de los usuarios con latencias muy bajas, lo que hace que el sistema parece en tiempo real, dice. Eso nos daría una base de datos interactiva.
Como ejemplo del tipo de información en la que se podría utilizar el sistema, el equipo ha estado trabajando con datos de una simulación del universo generada por investigadores de la Universidad de Washington. La simulación contiene datos sobre todas las partículas del universo, en diferentes puntos en el tiempo.
Los científicos necesitan consultar este enorme conjunto de datos para rastrear qué partículas están interactuando con qué otras partículas, pero ejecutar ese tipo de consultas requiere mucho tiempo, dice Jun. Esperamos proporcionar una interfaz en tiempo real que los científicos puedan utilizar para ver la información con mayor facilidad.
Kees Vissers del fabricante de chips programables Xilinx, con sede en San José, California, dice que el almacenamiento flash está comenzando a verse como un reemplazo tanto para DRAM como para discos duros. Históricamente, la arquitectura de la computadora tenía que tener una jerarquía de memoria particular (caché en los procesadores, DRAM fuera del chip y luego discos duros), pero ahora toda esa línea está siendo desdibujada por los nuevos mecanismos de la tecnología flash.
El trabajo en MIT es particularmente interesante porque el equipo ha optimizado todo el sistema para trabajar con flash, incluido el desarrollo de nuevas interfaces de hardware, dice Vissers. Esto significa que obtiene un beneficio a nivel del sistema, dice.