El dilema de los macrodatos: ¿cómo definirlo?

Una de las mayores ideas nuevas en informática es el big data. Existe un acuerdo unánime de que el big data está revolucionando el comercio en el siglo XXI. Cuando se trata de negocios, los macrodatos ofrecen información sin precedentes, una mejor toma de decisiones y fuentes de ganancias sin explotar.

Y, sin embargo, pídale a un director de tecnología que defina big data y se quedará mirando al suelo. Lo más probable es que obtenga tantas definiciones como la cantidad de personas que pregunte. Y ese es un problema para cualquiera que intente comprar, vender o utilizar servicios de big data: ¿qué se ofrece exactamente?

Hoy dia, Jonathan Stuart Ward y Adam Barker en la Universidad de St Andrews en Escocia toman el tema en la mano. Estos chicos examinan las diversas definiciones ofrecidas por las organizaciones de alta tecnología más grandes e influyentes del mundo. Luego intentan extraer de todo este ruido una definición en la que todos puedan estar de acuerdo.

Ward y Barker lanzaron su red por todas partes, pero los resultados son mixtos. Las definiciones formales son difíciles de conseguir y muchas organizaciones prefieren dar ejemplos anecdóticos.

En particular, la noción de grande es difícil de precisar, entre otras cosas porque un conjunto de datos que parece grande hoy casi con certeza parecerá pequeño en un futuro no muy lejano. Cuando una organización da cifras concretas de lo que constituye grande, otra da una definición relativa, lo que implica que los grandes datos siempre serán más de lo que las técnicas convencionales pueden manejar.

Algunas organizaciones señalan que los grandes conjuntos de datos no siempre son complejos y los pequeños conjuntos de datos siempre son simples. Su punto es que la complejidad de un conjunto de datos es un factor importante para decidir si es grande.

Aquí hay un resumen del tipo de descripciones que Ward y Barker descubrieron de varias organizaciones influyentes:

1. Gartner . En 2001, un informe de Meta (ahora Gartner) señaló el tamaño cada vez mayor de los datos, la velocidad cada vez mayor a la que se producen y la gama cada vez mayor de formatos y representaciones empleadas. Este informe es anterior al término datos de excavación, pero propuso una definición triple que abarca las tres V: volumen, velocidad y variedad. Desde entonces, esta idea se ha vuelto popular y, a veces, incluye una cuarta V: veracidad, para cubrir cuestiones de confianza e incertidumbre.

2. Oráculo . Big Data es la derivación de valor a partir de la toma de decisiones comerciales tradicional basada en bases de datos relacionales, aumentada con nuevas fuentes de datos no estructurados.

3. Intel . Las oportunidades de big data surgen en organizaciones que generan una media de 300 terabytes de datos a la semana. Las formas más comunes de datos analizados de esta manera son las transacciones comerciales almacenadas en bases de datos relacionales, seguidas de documentos, correo electrónico, datos de sensores, blogs y redes sociales.

4. Microsoft . Big data es el término que se usa cada vez más para describir el proceso de aplicación de una potencia informática importante, lo último en aprendizaje automático e inteligencia artificial, a conjuntos de información enormemente masivos y, a menudo, muy complejos.

5. El Método para un entorno de conocimiento integrado proyecto de código abierto. El proyecto MIKE sostiene que los macrodatos no son una función del tamaño de un conjunto de datos, sino de su complejidad. En consecuencia, es el alto grado de permutaciones e interacciones dentro de un conjunto de datos lo que define el big data.

6. El Instituto Nacional de Estándares y Tecnología . NIST sostiene que los macrodatos son datos que exceden la capacidad o capacidad de los métodos y sistemas actuales o convencionales. En otras palabras, la noción de grande es relativa al estándar actual de cálculo.

Una bolsa mixta si alguna vez hubo una.

Además de la búsqueda de definiciones, Ward y Barker intentaron comprender mejor la forma en que las personas usan la frase big data buscando en Google Trends para ver qué palabras se asocian más comúnmente con él. Dicen que estos son: análisis de datos, Hadoop, NoSQL, Google, IBM y Oracle.

Estos muchachos terminan valientemente su encuesta con una definición propia en la que intentan reunir estas ideas dispares. Esta es su definición:

Big data es un término que describe el almacenamiento y análisis de conjuntos de datos grandes o complejos utilizando una serie de técnicas que incluyen, entre otras: NoSQL, MapReduce y aprendizaje automático.

Un intento de juego por una meta digna, una definición en la que todos pueden estar de acuerdo, sin duda alguna, vencida.

¿Pero esto funcionará? Respuestas por favor en la sección de comentarios a continuación.

Ref: arxiv.org/abs/1309.5821 : Indefinido por datos: una encuesta de definiciones de Big Data

esconder