211service.com
Una base de datos gratuita de toda la web puede generar el próximo Google
Google comenzó como un algoritmo más eficiente para clasificar las páginas web. Pero la empresa también basó su éxito en el rastreo de la Web, utilizando software que visita cada página para crear un amplio índice de contenido en línea.
Una organización sin fines de lucro llamada Rastreo común ahora está utilizando su propio rastreador web y está haciendo una copia gigante de la web que hace accesible a cualquier persona. La organización ofrece más de cinco mil millones de páginas web, disponibles de forma gratuita para que los investigadores y empresarios puedan probar cosas que de otro modo serían posibles solo para quienes tienen acceso a recursos de la escala de Google.
La Web representa, hasta donde yo sé, la mayor acumulación de conocimiento, y hay mucho que se puede construir en la cima, dice el empresario Gilad Elbaz, quien fundó Common Crawl. Pero simplemente hacer la enorme cantidad de trabajo que es necesario para obtener toda esa información es un gran obstáculo; pocas organizaciones ... han tenido los recursos para hacer eso.
Los nuevos motores de búsqueda son solo una de las cosas que se pueden construir usando un índice de la Web, dice Elbaz, quien señala que el software de traducción de Google se entrenó usando texto en línea disponible en varios idiomas. La única forma en que podían hacerlo era comenzando con un rastreo masivo. Eso los puso en camino de construir el Star Trek traductor, dice. Tener un corpus abierto y compartido de conocimiento humano es simplemente una forma de democratizar el acceso a la información que es fundamental para la innovación.
Elbaz dice que notó hace unos cinco años que los investigadores con nuevas ideas sobre cómo usar los datos web se sintieron obligados a aceptar trabajos en Google porque era el único lugar donde podían probar esas ideas. Él dice que los datos de Common Crawl facilitarán que las ideas novedosas ganen tracción, tanto en el mundo de las empresas emergentes como en la investigación académica.
Elbaz es el fundador y CEO de Big Data Company. Factual , y antes de eso fundó una empresa comprada por Google para ser la base de su negocio publicitario para páginas web. Common Crawl también cuenta con el director de investigación de Google, Peter Norvig y director del MIT Media Lab Joi Ito en su consejo asesor.
Common Crawl ha indexado hasta ahora más de cinco mil millones de páginas, sumando hasta 81 terabytes de datos, disponibles a través del servicio de computación en la nube de Amazon. Por alrededor de $ 25, un programador podría crear una cuenta en Amazon y ponerse a trabajar procesando datos de Common Crawl, dice Lisa Green, directora de Common Crawl. El Archivo de Internet , otra organización sin fines de lucro, también compila una copia de la Web y ofrece un servicio llamado Wayback Machine que puede mostrar versiones antiguas de una página en particular. Sin embargo, no permite que nadie analice todos sus datos a la vez de esa manera.
Common Crawl ya ha inspirado o ayudado a algunas nuevas empresas web. TinEye , un motor de búsqueda inversa que encuentra imágenes similares a una proporcionada por el usuario, utilizó los primeros datos de Common Crawl para comenzar. El proyecto personal de un programador que utiliza datos de Common Crawl para medir cuántas de las páginas web se conectan a Facebook: un 22 por ciento, concluyó —Le aconsejó que consiguiera financiación para una puesta en marcha, Ostra de la suerte , basado en ayudar a las personas a encontrar información útil en sus datos sociales.
Otras ideas habilitadas por el proyecto surgieron de un concurso realizado el año pasado que otorgó premios a la mejores casos de uso . Uno de los ganadores usó enlaces de Wikipedia en datos de rastreo para construir un servicio capaz de definir el significado de las palabras; otro trató de determinar Actitudes públicas hacia la legislación del Congreso. analizando el contenido de las discusiones en línea sobre nuevas leyes.
Rich Skrenta, cofundador y director ejecutivo de la puesta en marcha de motores de búsqueda Blekko (ver Como Google juega con las búsquedas, los advenedizos ganan terreno), dice que los datos de Common Crawl satisfacen una necesidad definida en la comunidad de empresas emergentes. Él dice que Blekko ha sido contactado por nuevas empresas con tecnología que necesita acceso a grandes colecciones de datos en línea. Ese tipo de datos ahora está fácilmente disponible en Common Crawl, dice Skrenta, cuya compañía contribuyó con algunos de sus propios datos al proyecto en diciembre de 2012. Blekko compartió información de su sistema que clasifica las páginas web por contenido, por ejemplo, etiquetando si contienen pornografía. o spam.
Ben Zhao , profesor asociado de la Universidad de California en Santa Bárbara, que utiliza grandes colecciones de datos web para investigar la actividad en los sitios sociales (consulte Hidden Industry Dupes Social Media Users), dice que los datos de Common Crawl son probablemente únicos. Los rastreos frescos a gran escala son bastante raros, y personalmente no conozco lugares para obtener grandes datos de rastreo en la Web, dice.
Sin embargo, Zhao señala que algunas de las partes más interesantes y valiosas de la Web no estarán bien representadas en los datos de Common Crawl: los sitios sociales son bastante sensibles sobre su contenido en estos días, y muchos implementan mecanismos anti-rastreo para limitar la velocidad a cualquiera. puede acceder a su contenido.
Para acceder a estos datos, los investigadores deben entablar relaciones con las empresas y confiar en lo que publiquen, una ruta menos disponible para las nuevas empresas que pueden verse como una competencia.