211service.com
Google y Akamai: Cult of Secrecy vs. Kingdom of Openness
Nunca debes confiar en este número, dijo Martin Farach-Colton, profesor de informática en la Universidad de Rutgers, hablando hace poco más de un año. La gente le da mucha importancia a eso, y no es cierto.
Farach-Colton estaba dando una conferencia pública sobre sus dos años sabáticos trabajando en Google. El número que estaba menospreciando estaba en medio de su diapositiva de PowerPoint:
- 150 millones de consultas / día
La siguiente diapositiva tenía algunos números más:
- 1,000 consultas / seg (pico)
- 10,000+ servidores
- Más de 4 tera-ops / seg en el pico diario
- Índice: 3000 millones de páginas web
- 4 mil millones de documentos en total
- 4+ petabytes de almacenamiento en disco
Algunas personas en la audiencia comenzaron a reír: las cifras de Google no cuadraban.
Empecé a correr los números yo mismo. Veamos: 4 tera-ops / seg significa 4000 billones de operaciones por segundo; un servidor de primera línea puede realizar quizás dos mil millones de operaciones por segundo, por lo que eso se traduce en quizás 2000 servidores, no 10,000. Cuatro petabytes son 4x1015 bytes de almacenamiento; distribuya eso en 10,000 servidores y tendría 400 gigabytes por servidor, lo que nuevamente parece incorrecto, ya que Farach-Colton había dicho anteriormente que Google coloca dos discos duros de 80 gigabytes en cada servidor.
Y luego está el problema de las 150 millones de consultas por día. Si el sistema está manejando una carga máxima de 1,000 consultas por segundo, eso se traduce en una tasa máxima de 86,4 millones de consultas por día, o quizás 40 millones de consultas por día si asume que el sistema dedica solo la mitad de su tiempo a su capacidad máxima. No importa cómo haga las matemáticas, las estadísticas de Google no son coherentes.
Estos números son increíblemente bajos, continuó Farach-Colton. Google siempre informa números mucho, mucho más bajos de lo que es cierto.
Siempre que alguien de Google prepara una nueva presentación, explicó, el departamento de relaciones públicas examina la charla y analiza los números. Originalmente, dijo, la diapositiva con los números decía que 1,000 consultas / seg era la tasa mínima, no la máxima. Tenemos más de 10,000 servidores. Eso es más mucho.
Así como el motor de búsqueda de Google regresa instantáneamente y aparentemente sin esfuerzo con una respuesta a cualquier consulta que usted lanza, ocultando la verdadera dificultad de la tarea a los usuarios, la compañía también quiere que sus competidores no entiendan la dificultad del problema. Después de todo, si Google publicara cuántas páginas ha indexado y cuántas computadoras tiene en sus centros de datos en todo el mundo, los competidores de búsqueda como Yahoo !, Teoma y Mooter sabrían cuánto capital tienen que reunir para tener una esperanza de desplazar al rey en la cima de la colina.
En ocasiones, Google ha tenido dificultades para mantener su historia clara. Cuando el vicepresidente de ingeniería Urs Hoelzle dio una charla sobre los clústeres de Linux de Google en la Universidad de Washington en noviembre de 2002, repitió esa cifra de 1,000 consultas por segundo, pero dijo que la medida se tomó a las 2:00 am del 25 de diciembre. , 2001. Su punto, obvio para todos en la sala, es que incluso en noviembre de 2002, Google estaba haciendo más de 1,000 consultas por segundo; sin embargo, nadie sabía cuántas más.
Es posible que los hechos se estén filtrando. El pasado Día de Acción de Gracias, el New York Times informó que Google había cruzado la marca de los 100.000 servidores. Si es cierto, eso significa que Google está operando quizás la red de computadoras más grande del planeta. El simple hecho de que puedan construir y operar centros de datos de ese tamaño es asombroso, dice Peter Christy, cofundador de NetsEdge Research Group, una firma de investigación y estrategia de mercado en Silicon Valley. Christy, que ha trabajado en la industria durante más de 30 años, está asombrada por la escala de los sistemas de Google y la competencia de la empresa para operarlos. No creo que haya nadie cercano.
Esta capacidad de crear y operar clústeres increíblemente densos es, más que cualquier otra cosa, el secreto del éxito de Google. Y la razón, explica Marissa Mayer, directora de productos web de consumo de la empresa, tiene que ver con la forma en que Google comenzó en Stanford.
En lugar de conseguir algunas computadoras rápidas y ejecutarlas al máximo, explicó Mayer en un evento de reclutamiento en el MIT, los fundadores Sergey Brin y Larry Page tuvieron que conformarse con herencias del departamento de informática de Stanford. Iban al muelle de carga para ver quién estaba adquiriendo nuevas computadoras, luego preguntaban si podían tener las máquinas viejas y obsoletas que las nuevas estaban reemplazando. Así, desde el principio, Brin y Page se vieron obligados a desarrollar algoritmos distribuidos que se ejecutaban en una red de máquinas poco fiables.
Hoy, esta filosofía está incorporada en el ADN de la empresa. Google compra las computadoras más baratas que puede encontrar y las coloca en racks y racks en sus seis (o más) centros de datos. Las PC son razonablemente confiables, pero si tiene miles de ellas, una fallará todos los días, dijo Hoelzle. Entonces, si solo puede comprar un 10 por ciento adicional, aún es más barato que comprar una máquina más confiable.
Trabajar en Google, me dijo un ingeniero recientemente, es lo más cercano a tener una cantidad ilimitada de potencia informática a su disposición.
El Reino de la Apertura
Hay otra empresa que ha perfeccionado el arte de ejecutar una gran cantidad de computadoras con un personal comparativamente pequeño. Esa empresa es Akamai.
Akamai no es una palabra familiar ahora, pero apareció en las portadas cuando la empresa salió a bolsa en noviembre de 1999 con lo que fue, en ese momento, la cuarta oferta pública inicial más exitosa de la historia. Las acciones de Akamai se dispararon y convirtieron a sus fundadores en multimillonarios. En los años que siguieron, sin embargo, Akamai atravesó tiempos difíciles. No fue solo el colapso de las puntocom lo que provocó despidos significativos y el abandono de las oficinas de la compañía en California: el cofundador y director de tecnología de Akamai, Danny Lewin, estaba a bordo del vuelo 11 de American Airlines el 11 de septiembre y murió cuando el avión entró en el World Trade Center. La moral de la empresa quedó devastada.
La red de Akamai opera en la misma escala de complejidad que la de Google. Aunque Akamai tiene solo 14.000 máquinas, esos servidores están ubicados en 2.500 ubicaciones diferentes repartidas por todo el mundo. Los servidores son utilizados por empresas como CNN y Microsoft para entregar páginas web. Así como prácticamente todo el mundo utiliza los servidores de Google en la actualidad, también lo hacen los de Akamai.
Debido a su escala, tanto Akamai como Google han tenido que desarrollar herramientas y técnicas para administrar estas máquinas, depurar problemas de rendimiento y manejar errores. Este no es un software que una empresa pueda comprar en el mercado; requieren un laborioso desarrollo interno. De hecho, el software es una de las ventajas competitivas clave de Akamai.
Sí, algunas otras organizaciones también están ejecutando grandes grupos de computadoras. Tanto el Centro de Investigación Ames de la NASA como el Virginia Tech tienen grandes grupos dedicados a la computación científica. Pero existen diferencias clave entre estos sistemas y los clústeres que han creado tanto Google como Akamai. Los sistemas científicos están ubicados en un solo lugar, no esparcidos por todo el mundo. Por lo general, no están directamente expuestos a Internet. Y quizás lo más importante es que los sistemas científicos no brindan un servicio básico a cientos de millones de usuarios de Internet todos los días: Google y Akamai deben brindar un tiempo de actividad del 100 por ciento. Es fácil salir y comprar 10,000 computadoras; todo lo que necesita es efectivo. Es mucho más difícil hacer que todas esas computadoras funcionen juntas como un solo servicio que admita millones de usuarios simultáneos.
Para ser justos, existen diferencias importantes entre Google y Akamai; diferencias que aseguran que Google no irrumpirá en el negocio de Akamai en el corto plazo, ni Akamai se trasladará al de Google. Ambas empresas han desarrollado infraestructura para ejecutar sistemas masivamente paralelos, pero las aplicaciones que ejecutan sobre esos sistemas son diferentes. La aplicación principal de Google es un motor de búsqueda. Akamai, por el contrario, ha desarrollado un sistema para entregar páginas web, transmisión de medios y una variedad de otros protocolos estándar de Internet.
Otra diferencia importante, dice Christy, es que Akamai ha tenido muchas dificultades para crear un modelo de negocio claro que funcione, mientras que Google ha tenido un éxito increíble. Por tanto, Akamai ha comenzado a buscar nuevas formas de vender servicios que solo una red distribuida masiva puede ofrecer. Luchando por la rentabilidad, la empresa ha estado buscando agresivamente nuevas oportunidades para su tecnología. Esta podría ser la razón por la que Akamai, a diferencia de Google, estaba dispuesto a ser entrevistado para este artículo.
Comenzamos con objetos básicos de entrega de bits, fotos, pancartas, anuncios, dice Tom Leighton, científico jefe de Akamai. Lo hacemos localmente. Hazlo rápido. Hágalo confiable. Mejora los sitios.
Ahora Akamai está desarrollando técnicas para permitir que los clientes ejecuten sus aplicaciones directamente en los servidores distribuidos de la empresa. Leighton dice que 25 de los clientes más importantes de Akamai lo han hecho. El sistema puede manejar sobretensiones repentinas, lo que lo hace ideal para casos en los que es imposible anticipar la demanda.
Por ejemplo, dice Leighton, la red de Akamai se utilizó para gestionar un concurso de regalos de teclados patrocinado por Logitech. Pensando que su concurso podría ser popular, Logitech creó una serie elaborada de reglas, asegurando que solo se regalarían tantos teclados a cada estado y dentro de un período de tiempo determinado. Pero Logitech subestimó enormemente cuántas personas harían clic en el concurso. En el pasado, tales subestimaciones han provocado que eventos de Internet muy publicitados, como el webcast de Victoria's Secret, colapsen, frustrando a millones de internautas y avergonzando a la empresa. Pero no esta vez: el concurso de Logitech se ejecutó en la red de Akamai sin problemas.
Por supuesto, Logitech podría haber intentado construir el sistema por sí mismo. Podría haber diseñado y probado un servidor capaz de manejar 100 usuarios simultáneos. Ese servidor podría costar $ 5,000. Entonces Logitech podría haber comprado 20 de esos servidores por $ 100,000 y ponerlos en un centro de datos. Pero un solo centro de datos podría congestionarse, por lo que podría tener más sentido colocar 10 de ellos en un centro de datos en la costa este y 10 en otro centro de datos en la costa oeste. Aún así, ese sistema solo podía manejar 2,000 usuarios simultáneos: sería mejor comprar 100 servidores, por un costo total de $ 500,000, y colocarlos en 10 centros de datos diferentes. Pero incluso si hubieran hecho esto, los ingenieros de Logitech no habrían tenido forma de saber si el sistema realmente habría funcionado cuando se puso a prueba, y habrían invertido una gran cantidad de dinero en ingeniería que no funcionaría. han sido necesarios después del evento.
Y los concursos no son lo único que se puede ejecutar en la red de Akamai. Prácticamente cualquier programa escrito en el lenguaje de programación Java puede ejecutarse en la infraestructura de la empresa. El sistema puede manejar solicitudes de hipotecas, catálogos y carros de compras electrónicos. Akamai incluso ejecuta el backend del servicio de música de 99 centavos iTunes de Apple.
Quizás porque Akamai está tan orgulloso del sistema que ha construido, la empresa es muy abierta sobre los detalles técnicos de la red. Su centro de operaciones de red en Cambridge, MA, tiene una pared de vidrio que permite a los visitantes ver una pantalla grande con estadísticas. Cuando visité la empresa en enero, la pantalla decía que Akamai estaba proporcionando 591.763 visitas por segundo, con 14.372 CPU en línea, 14.563 gigahercios de potencia de procesamiento total y 650 terabytes de almacenamiento total. El 14 de abril, el número había aumentado a una tasa máxima de 900.000 visitas por segundo y 43.710 millones de solicitudes entregadas en un período de 24 horas. (Akamai no quiso revelar el número de CPU en línea porque ese número es parte de su informe de ganancias trimestrales, que se publicará el 28 de abril. Pero no ha cambiado mucho, me dijo el portavoz de la empresa).
Correo y escala
De cara al futuro, algunas oportunidades comerciales tienen un atractivo obvio tanto para Google como para Akamai. Por ejemplo, ambas empresas podrían aprovechar su experiencia en la construcción de clústeres distribuidos a gran escala para crear un sistema de respaldo masivo para pequeñas empresas y usuarios de PC domésticos. O podrían hacerse cargo de la gestión de las PC domésticas, convirtiéndolas en terminales inteligentes que ejecutan aplicaciones en servidores remotos. Esto permitiría a los usuarios de PC escapar de la monotonía de administrar sus propias máquinas, instalar nuevas aplicaciones y mantener actualizados los programas antivirus.
Y luego está el correo electrónico. El 1 de abril, Google anunció que iba a ingresar al negocio del correo electrónico para consumidores con un comunicado de prensa poco ortodoxo: La búsqueda es la actividad en línea número dos; el correo electrónico es el número uno: 'Diablos, sí', dicen los fundadores de Google.
Desde entonces, Google ha recibido una publicidad considerable por el diseño anunciado de su oferta de Gmail (Google Mail). El servicio gratuito promete a los consumidores un gigabyte de almacenamiento de correo (más de cien veces el almacenamiento ofrecido por otros proveedores de correo web), una búsqueda asombrosa a través de archivos de correo y la promesa de que los consumidores nunca más necesitarán borrar un mensaje de correo electrónico. Al principio, mucha gente pensó que el anuncio era una broma de April Fools: un gigabyte por usuario parecía demasiado espacio de almacenamiento. Pero dado que la gran mayoría de los usuarios no usará tanto almacenamiento, lo que la promesa de Google realmente dice es que Google puede comprar nuevos discos duros más rápido de lo que los usuarios de Internet pueden llenarlos. [ Nota del editor: La propuesta de Google de financiar Gmail mostrando anuncios basados en el contenido del correo electrónico de los usuarios ha recibido críticas importantes de una variedad de activistas de la privacidad. A principios de este mes, varios activistas de la privacidad circularon una carta pidiendo a Google que no lanzara Gmail hasta que se resolvieran estos problemas de privacidad. Simson Garfinkel firmó esa carta como partidario después de que se escribiera este artículo, pero antes de su publicación.]
La infraestructura de Google parece adecuada para la implementación de un servicio como Gmail. El verano pasado, Google publicó un documento técnico llamado The Google File System (GFS), que aparentemente es la tecnología subyacente desarrollada por Google para permitir la replicación de alta velocidad y el acceso de datos en todos sus clústeres. Con GFS, el correo electrónico de cada usuario podría replicarse entre varios clústeres de Google diferentes; cuando los usuarios inician sesión en Gmail, su navegador web puede ser dirigido automáticamente al grupo más cercano que tenga una copia de sus mensajes.
Esta es una tecnología difícil de conseguir, y es exactamente el tipo de sistema que Akamai ha estado desarrollando durante los últimos seis años. De hecho, no hay ninguna razón, en principio, por la que Akamai no pueda implementar un sistema de correo electrónico similar a gran escala con bastante facilidad en sus propios servidores. Es decir, sin ninguna razón, excepto por la filosofía de la empresa.
Leighton no cree que Akamai se traslade a ningún negocio que requiera que la empresa trate directamente con los usuarios finales. Lo más probable, dice, Akamai proporcionaría la infraestructura a alguna otra empresa que estaría en condiciones de realizar la facturación, la atención al cliente y el marketing para los usuarios finales. Nuestro enfoque es vender en la empresa, dice.
George Hamilton, analista de Yankee Group que se ocupa de la informática empresarial y las redes, está de acuerdo. Hamilton considera inverosímil la idea de que Google compita con Akamai. Pero Google podría contratar a Akamai para complementar las necesidades tecnológicas de Google, dice.
Aún así, tal asociación parece poco probable, al menos en la superficie. Google podría comprar Akamai, de la misma forma en que la empresa compró Pyra Labs en febrero de 2003 para adquirir el sistema de publicación web personal Blogger de Pyra. Pero Akamai, con su cultura de apertura, no parece una buena combinación con la reservada de Google. Luego está el hecho de que el 20 por ciento de los ingresos de Akamai ahora proviene directamente de Microsoft, según el informe trimestral de noviembre de 2003 de Akamai. La rivalidad de Google con Microsoft en las búsquedas en Internet (y ahora en el correo electrónico) ha sido ampliamente comentada en la prensa; Es poco probable que la empresa quiera trabajar tan estrechamente con un socio tan cercano de Microsoft.
Ted Schadler, vicepresidente de la firma de investigación de mercado Forrester, dice que es posible imaginar a las dos empresas compitiendo porque ambas buscan la misma oportunidad en la computación distribuida masiva. En ese sentido, tienen la misma visión. Tienen que desarrollar mucha de la misma tecnología porque no existe. Tienen que aprender muchas de las mismas lecciones y desarrollar muchas de las mismas tecnologías y modelos de negocio.
Schadler dice que Akamai y Google son ejemplos de lo que él llama canales comerciales de Internet programables. Estos canales son empresas que ofrecen una gran infraestructura que puede ofrecer servicios de alta calidad en Internet a cientos de millones de usuarios con solo pulsar un botón. Google y Akamai son empresas de este tipo, pero también lo son Amazon.com, eBay e incluso Yahoo. Todos ellos son servicios que permiten servicios de base de actividad empresarial que [se pueden] escalar de forma segura, dice Schadler.
Si yo fuera un hombre de apuestas, agrega Schadler, diría que Google está mucho más interesado en servir al cliente y Akamai está más interesado en proporcionar la infraestructura, es minorista que mayorista. Habrá muchos, muchos de estos servicios orientados al comercio minorista.
Si es cierto, Google podría encontrarse de repente compitiendo con una empresa que, como la propia Google, parecía surgir de la nada. Excepto que esta vez, esa empresa no tendría que descubrir ninguno de los trucos para ejecutar la infraestructura masiva por sí misma.
Y eso explica por qué Google es tan reservado.