211service.com
Una araña web para todos
A medida que aumenta la cantidad de información en Internet, también lo hace la cuestión de cómo procesarla y hacerla útil. Una startup llamada 80 patas , con sede en Houston, TX, espera que un servicio de rastreo web distribuido y económico pueda ayudar a las empresas emergentes a extraer información de la web sin tener que construir las gigantescas granjas de servidores que utilizan los principales motores de búsqueda. La compañía lanzó esta semana en DEMO, una conferencia en San Diego que presenta nuevas compañías.
Los rastreadores web, o arañas, son software que visitan automáticamente las páginas de Internet y se pueden utilizar para indexarlas y recopilar fragmentos de información de diferentes páginas. Los motores de búsqueda utilizan rastreadores, por ejemplo, para monitorear la ubicación de información en la Web. Pero la escala de la Web significa que el rastreo completo consume mucha potencia de procesamiento, lo que normalmente significa construir enormes centros de datos para alimentar el software.
80legs espera hacer que esta tecnología sea más accesible para pequeñas empresas e individuos al permitir el acceso de arrendamiento y permitir que los clientes paguen solo por lo que rastrean.
La tecnología de rastreo web también es crucial para los sitios y servicios semánticos diseñados para procesar consultas en lenguaje natural. Si bien 80legs espera ver usuarios interesados en aplicaciones de búsqueda y semánticas, el CEO Shion Deysarkar dice que entre los que probaron el servicio también se incluyeron clientes con menos intereses técnicos. Algunos investigadores de mercado, por ejemplo, utilizan 80legs para descubrir menciones de empresas o temas específicos en la Web.
Un usuario puede iniciar un rastreo web a través de la interfaz basada en web de 80legs. El formulario en el sitio de la empresa les permite establecer parámetros para el proyecto y cargar el código personalizado necesario para controlar cómo el rastreador hace su trabajo. Por ejemplo, un usuario puede querer que el rastreador busque imágenes y las compare con una base de datos con derechos de autor. Deysarkar dice que los rastreadores de su empresa son capaces de procesar hasta dos mil millones de páginas al día. La empresa cobra 2 dólares por cada millón de páginas rastreadas, más una tarifa de tres centavos por hora de procesamiento utilizado.
Muchas startups luchan por encontrar la financiación necesaria para construir grandes centros de datos, pero ese no es el enfoque que tomó 80legs para construir su infraestructura de rastreo web. En cambio, la empresa ejecuta su software en una red distribuida de computadoras personales, muy parecidas a las que se utilizan para proyectos comoSETI @ hogar. La red de computación distribuida es construida por Plura Processing, que la alquila a 80 patas. Plura consigue que los usuarios de computadoras proporcionen potencia de procesamiento no utilizada a cambio de acceso a juegos, donaciones a organizaciones benéficas y otras recompensas.
Deysarkar dice que el enfoque reduce significativamente los costos de 80legs, lo que permite a la compañía ofrecer su servicio por mucho menos de lo que sería posible si usara un centro de datos, o incluso un servicio de computación en la nube como Amazon Web Services.
Daniel Tunkelang, cofundador de la empresa de búsquedas Endeca , con sede en Cambridge, MA, dice que un buen servicio de rastreo web podría ser útil para las nuevas empresas que desean centrarse en desarrollar la experiencia de búsqueda en lugar de recopilar los datos. Pero Tunkelang dice que el éxito de 80legs puede depender de lo fácil que sea para los usuarios personalizar el rastreo. La gran pregunta es, ¿qué tan adaptable y programable es el rastreo? él dice.
Tunkelang también señala que es importante que un rastreador web capture la mayor cantidad de información posible. Por ejemplo, la ruta que tomó un rastreador para llegar a una página en particular puede proporcionar a una empresa de búsqueda información útil sobre el contenido de esa página.
Un servicio como 80legs también podría ser útil para investigadores universitarios. Arrastrarse a gran escala es, de hecho, un obstáculo costoso de cruzar para los proyectos de búsqueda experimentales en el mundo académico, que a menudo carecen de infraestructura a gran escala, dice Kevin Chang , profesor asociado de informática en la Universidad de Illinois en Urbana-Champaign.
Chang piensa que la naturaleza distribuida de 80legs es una dirección interesante y suena prometedora [para reducir] el costo de rastreo. Al mismo tiempo, está de acuerdo en que mucho depende de la eficiencia con la que opere el sistema y de la eficacia con la que los usuarios pueden personalizar los datos que desean procesar.
80legs planea lanzar un mercado donde los usuarios sin conocimientos técnicos podrán comprar aplicaciones que puedan controlar cómo funciona un rastreador. Las empresas asociadas también podrán vender acceso a aplicaciones que controlan los rastreadores de 80legs.