Poner la Web en una hoja de cálculo

Grandes cantidades de datos están disponibles gratuitamente en la Web y pueden ser un tesoro potencial para muchas empresas, siempre que puedan descubrir cómo utilizarlos de manera eficaz.

Clasificación y filtrado: BigSheets permite a los usuarios analizar datos no estructurados de la Web utilizando herramientas similares a las que se encuentran en el software de hoja de cálculo de escritorio.

Una empresa puede, por ejemplo, revisar los datos de la Oficina de Patentes y Marcas Registradas de los EE. UU. Y los registros judiciales antes de adquirir otra empresa para ver si parte de su propiedad intelectual está vinculada a una acción legal. En la práctica, sin embargo, analizar tanta información requiere tiempo y esfuerzo para organizarlo.

IBM espera que una nueva herramienta, llamada BigSheets , ayudará a los usuarios a analizar los datos web con mayor facilidad. La empresa ha desarrollado una versión de prueba del software para la Biblioteca Británica.

La capacidad de cualquier usuario para realizar sus propios tipos de análisis interesantes está llegando a la mayoría de edad, dice Rod Smith, vicepresidente de tecnologías emergentes de Internet de IBM.

BigSheets está construido sobre otra pieza de software llamada Hadoop. Esta es una plataforma de código abierto para procesar grandes cantidades de datos web dividiendo tareas y entregándolas a un grupo de diferentes computadoras. Hadoop se utiliza a menudo para analizar grandes cantidades de datos web no estructurados.

BigSheets usa Hadoop para rastrear páginas web, analizándolas para extraer términos clave y otros datos útiles. BigSheets organiza esta información en una hoja de cálculo muy grande, donde los usuarios pueden analizarla utilizando el tipo de herramientas y macros que se encuentran en el software de hoja de cálculo de escritorio. Sin embargo, a diferencia del software de hoja de cálculo común, no hay límite para el tamaño de una hoja de cálculo creada a través de BigSheets.

Para usar BigSheets, un usuario apuntaría la herramienta a un conjunto de URL o un depósito de datos. Se pueden usar listas de términos para organizar los datos en filas y tablas, y estos se pueden ajustar más tarde.

Smith dice que IBM eligió la hoja de cálculo como modelo para organizar los datos porque la mayoría de los usuarios ya están familiarizados con dicho software. Si los usuarios desean representar los datos de formas más complejas, la herramienta funcionará con una herramienta de visualización de IBM llamada Muchos ojos , así como otro software de visualización.

Etiqueta de equipo: Las herramientas de visualización se pueden utilizar con BigSheets para encontrar patrones en datos no estructurados.

BigSheets tiene un nivel de integración que no he visto, dice Soy lorica , analista senior del grupo de investigación de la editorial técnica O’Reilly Media. Tradicionalmente, dice Lorica, las empresas han dividido las funciones que realiza BigSheets en tres tareas separadas: rastreo web, análisis de datos y visualizaciones. Debido a que BigSheets se basa en Hadoop, que está diseñado fundamentalmente para trabajar con enormes cantidades de datos, dice Lorica, la escala no es un problema para BigSheets.

Sin embargo, advierte que BigSheets se encuentra en una etapa temprana y debe probarse con otros datos. Dado que la tecnología se está desarrollando en conjunto con socios particulares de IBM, no está claro qué tan fácil sería para una empresa comenzar a usarla, dice. Configurar un clúster de Hadoop puede ser una tarea exigente, dice, y si BigSheets no está bien empaquetado, las empresas pueden necesitar un ejército de consultores para preparar el camino para la herramienta.

La primera prueba de BigSheets se realizó en la Biblioteca Británica, que ha estado trabajando desde 2004 para crear un archivo de los aproximadamente ocho millones de sitios web del Reino Unido. A intervalos regulares, la biblioteca toma instantáneas de las páginas web, las convierte a un formato de archivo de archivo y las almacena. Pero buscar y analizar estos datos es otro desafío, y ahí es donde entró BigSheets.

En menos de ocho horas, dice Smith, su equipo tomó 4.5 terabytes de archivos de almacenamiento y los procesó usando un clúster Hadoop de cuatro máquinas. Con la orientación de los investigadores de la Biblioteca Británica, el equipo utilizó BigSheets para extraer palabras clave, información del autor y otros metadatos de estas páginas web no estructuradas. Experimentaron con análisis de frecuencia de términos y ejecutaron nubes de etiquetas y otras visualizaciones.

Los investigadores de la Biblioteca Británica pudieron ajustar los tipos de metadatos en los que estaban interesados ​​durante el transcurso del primer día, centrándose más en quién había escrito las páginas de lo que pretendían originalmente. Las visualizaciones proporcionaron nuevos conocimientos. Por ejemplo, utilizando una nube de etiquetas, los investigadores descubrieron que el nombre del escritor y figura política británica Alastair Campbell a menudo se escribía mal como Alistair, lo que revelaba una gran cantidad de registros relevantes que podrían haberse pasado por alto fácilmente.

Eytan Adar , profesor asistente de informática e información en la Universidad de Michigan, que investiga sistemas a escala de Internet, minería de texto y visualización, dice que la herramienta podría tener un gran impacto. Aunque el contenido de la Biblioteca Británica parece restringido a unas pocas instantáneas para cada página, esto aún se traduce en una tonelada de datos, y simplemente arrojar resultados de búsqueda en respuesta a una consulta no es útil, dice Adar.

Adar ha diseñado su propia herramienta, llamada Zootropo , para analizar cómo han cambiado las páginas web a lo largo del tiempo. BigSheets aporta nuevos conocimientos, dice, al comparar datos de muchas páginas diferentes y a lo largo del tiempo. Adar dice que las visualizaciones efectivas son cruciales para permitir que los usuarios comprendan rápidamente grandes colecciones de datos.

Después de más pruebas, IBM espera incorporar BigSheets en sus servicios y productos existentes.

esconder