Tú también puedes ser el próximo Google

Estuve en Google durante cuatro años y, obviamente, Google tiene algunas computadoras más que nosotros, dice Tom Annau, vicepresidente de ingeniería de Blekko, el motor de búsqueda que afirma ser igual a los gigantes de búsqueda existentes Bing y Google, menos el correo no deseado.

Usando nuevos sitios web como proxy, el crecimiento del conocimiento humano se ha ralentizado ...

Pero la cantidad de información real, útil e interesante en Internet no aumenta tan rápido como la ley de Moore, agrega.

La ley de Moore no es tanto una ley como una tendencia general en la industria de los microprocesadores, tanto un producto de décadas de esfuerzo de investigación y desarrollo por parte de empresas como Intel como el resultado de cualquier principio físico subyacente. Afirma que la cantidad de microprocesadores que puede obtener por un dólar aproximadamente se duplica cada 18 meses. Esto significa chips más pequeños y más rápidos cuyas potencias han crecido exponencialmente desde la década de 1960, al menos.

Por el contrario, el crecimiento de la Web puede estar nivelando . Aun así, ¿cómo podría una empresa, y mucho menos una startup, esperar competir con la infraestructura de red y servidores verdaderamente gigantesca de empresas como Google y Microsoft?

La búsqueda web sigue siendo una aplicación que traspasa los límites de los dispositivos informáticos actuales con bastante fuerza, dice Annau. Pero Blekko logra un índice completo y actualizado de la Web con menos de 1000 servidores, probablemente menos de los que se encontrarían en cualquiera de los centros de datos primarios de Google, aprovechando para reducir el problema a un tamaño manejable en formas en las que los gigantes de la búsqueda no pueden o no quieren.

Intentamos evitar el rastreo de spam y otros contenidos maliciosos, dice Annau. Creo que otros motores tienen una política de rastreo primero, pregunte después. Una eficiencia que obtenemos es simplemente no rastrear splogs [blogs de spam] y otros galimatías generados por máquinas.

Casi todo el contenido generado por máquinas en la Web se produce precisamente para atrapar a las arañas de los motores de búsqueda que lo rastrean y para abarrotar sus índices con páginas cargadas de anuncios. Evitar estos sitios todos juntos, utilizando algoritmos de detección de spam y curación humana, le ahorra a Blekko enormes cantidades de recursos.

Existe un cierto punto más allá del cual, si sigues rastreando, no vas a rastrear más cosas interesantes, útiles o buenas; hay muchos retornos decrecientes en un rastreo web grande, dice Annau.

Blekko también emplea una táctica utilizada por otros motores de búsqueda: un rastreo dividido que indexa minuciosamente toda la Web, incluido gran parte de su contenido estático, con menos frecuencia que un rastreo rápido que reindexa constantemente sitios que cambian con frecuencia, como noticias y blogs.

Rastreamos de forma agresiva muchas fuentes de alta calidad que cambian rápidamente, dice Annau. Puede ver que cuando realiza una búsqueda con fecha de barra oblicua, puede ver las cosas que ingresaron hace un minuto.

La ley de Moore sigue adelante.
(cc)Wgsimon

La visión a largo plazo de Annau sobre la búsqueda es que indexar toda la Web, o al menos las partes útiles, se está volviendo más manejable, no menos. En este cálculo, Microsoft y Google y otros grandes motores de búsqueda anuncian la escala de sus centros de datos en parte para intimidar a sus rivales potenciales; para hacer que las barreras de entrada en el negocio de las búsquedas parezcan más altas de lo que realmente son.

Ya sea que tengamos éxito o fracasamos como startup, será cierto que cada año que pase por servidores individuales se volverá más y más poderoso, y la capacidad de rastrear e indexar la información útil en la Web será cada vez más asequible, dice Annau.

Cada startup es una hipótesis sobre alguna eficiencia en el mercado que perciben, agrega. Para Blekko y otras nuevas empresas de motores de búsqueda, como la operación unipersonal Duck Duck Go de Gabriel Weinberg, esa eficiencia es que la suma del conocimiento humano será superada, cómodamente, por la tasa de aumento de la potencia informática.

Como le gusta señalar a Rich Skrenta, director ejecutivo de Blekko, el crecimiento de Wikipedia se está estabilizando. Simplemente, no hay tantos temas en el mundo; la gente puede agregar y editar páginas, pero no verás cómo se duplica continuamente su tamaño, dice Annau.

Sigue a Mims en Twitter o contáctalo por correo electrónico .

esconder