211service.com
Preparándose para la avalancha de datos
Desde Facebook hasta el Departamento de Vehículos Motorizados, el mundo está catalogado en bases de datos. Nadie lo sabe mejor que el profesor adjunto y emprendedor del MIT Michael Stonebraker , que ha pasado los últimos 25 años desarrollando la tecnología que lo hizo así. Obtuvo su gran oportunidad al inventar y comercializar la tecnología que subyace a la mayoría de las bases de datos, conocidas como bases de datos relacionales, que gobiernan hoy. Pero Stonebraker ahora felizmente llama a sus inventos anteriores en gran parte obsoletos. Está trabajando en una nueva generación de tecnología de bases de datos que puede manejar la avalancha de datos digitales que está comenzando a abrumar a los métodos establecidos.
Las bases de datos relacionales son omnipresentes como solución para los datos empresariales. Han tenido un éxito fabuloso, dice Stonebraker. Pero él dice que los proveedores de bases de datos más grandes, incluidos Oracle, IBM y Microsoft, todavía venden tales productos como apropiados para cualquier negocio. Stonebraker tiene una visión diferente: que se requieren nuevas tecnologías de bases de datos para manejar los aumentos exponenciales en la información que las empresas deben manejar. Stonebraker, de 67 años, ya está teniendo éxito con varios de sus nuevos enfoques.
Uno es un sistema de base de datos llamado C-Store . A diferencia de la mayoría de los sistemas que se utilizan hoy en día, almacena datos en el disco columna por columna, no fila por fila. Ese simple ajuste requirió una reescritura completa de cómo han funcionado las bases de datos, pero encaja perfectamente tanto con la forma en que funciona la memoria de la computadora como con la forma en que se accede a las bases de datos. Eso produce un rendimiento mucho más rápido y datos más comprimidos.
Ese ajuste y otros realizados por Stonebraker y sus colegas del MIT, Brown, Brandeis, Yale y la Universidad de Massachusetts permitieron el lanzamiento de Vertica , una empresa que comercializaba C-Store y ayudaba a los clientes a consultar grandes bases de datos casi en tiempo real. Vertica fue adquirida por Hewlett-Packard en febrero y cuenta con clientes como Comcast, que lo usa para monitorear los millones de dispositivos que componen sus redes de TV e Internet, y Groupon, que lo usa para analizar las acciones de sus millones de suscriptores.
Un sistema relacionado de Stonebraker y algunos de los mismos colegas académicos, H-Store , se basa en las mismas ideas con mejoras adicionales, como ejecutarse completamente en la memoria de una computadora, no en el disco; este método es particularmente útil en el procesamiento de transacciones en línea. El código de H-Store es de código abierto, pero la tecnología está siendo comercializada por empresas respaldadas VoltDB , con Stonebraker como director de tecnología. Sostiene que este tipo de sistema de base de datos diseñado para la velocidad y de uso específico es lo que la mayoría de las empresas necesitarán adoptar más temprano que tarde para hacer frente a la avalancha de datos digitales.
Algunas organizaciones ya están atrapadas en esa inundación. Piense en Facebook. Facebook, que ya alberga más fotos digitales que cualquier otra empresa, está construyendo una nueva infraestructura de almacenamiento y procesamiento tan rápido como puede. Sin embargo, está llevando al límite la tecnología de base de datos que está utilizando, dividiendo su famoso gráfico social en 4.000 bases de datos que deben trabajar juntas como una sola, dice Stonebraker. Simplemente están muriendo bajo la carga de la capa de gestión necesaria para mantener este sistema en funcionamiento, dice. Tienen el problema de bases de datos más difícil del planeta y no existe un sistema actual que satisfaga sus necesidades.
Las soluciones que Stonebraker está construyendo para un sector muy diferente que ya está inundado de datos pueden eventualmente ayudar. Hace unos años, se enteró de los problemas a los que se enfrenta el Gran telescopio de estudio sinóptico en construcción en Chile. Va a reunir 100 petabytes de datos sin procesar y datos derivados, dice Stonebraker, y no tenían idea de qué hacer con esa cantidad.
Stonebraker y su colaborador David DeWitt, afiliado a la Universidad de Wisconsin-Madison, construyeron un sistema de base de datos único llamado SciDB . El proyecto de código abierto ahora cuenta con el respaldo de empresas y una gran comunidad de voluntarios dentro de la ciencia. Pero Stonebraker cree que las características de SciDB eventualmente encontrarán el favor más allá de la academia.
Todos los datos científicos son inciertos y tienen barras de error, a diferencia de los datos de una base de datos de salarios, por lo que SciDB puede prestar atención a la incertidumbre. Tampoco puede sobrescribir, porque los científicos nunca quieren tirar nada, dice. Esas características no son tan diferentes de la necesidad de la ciencia de datos o el análisis de alta potencia y las estadísticas, cada vez más en el corazón de las empresas exitosas impulsadas por la tecnología. Un ejemplo es la ubicación de anuncios en línea: dirigirse a cada persona individualmente requiere un análisis computacionalmente intenso para agrupar a personas similares.
Sin embargo, Stonebraker no afirma que los nuevos sistemas de bases de datos como en los que está trabajando puedan ser una panacea para las empresas que de repente aprenden los límites de tecnologías más establecidas. La creciente importancia del almacenamiento y procesamiento de datos para las empresas de todo tipo requerirá que hagan de ambos una prioridad empresarial. Si está dirigiendo una empresa, debe diseñar a escala desde el principio, dice, porque no hay duda de que lo necesitará más adelante.