211service.com
Computación en cuadrícula
¿Está a punto de repetirse la historia de Internet?
Quizás. En la década de 1980, la National Science Foundation creó NSFnet: una red de comunicaciones destinada a brindar a los investigadores científicos un fácil acceso a sus nuevos centros de supercomputadoras. Muy rápidamente, una red más pequeña tras otra se enlazó, y el resultado fue Internet como la conocemos ahora. Los científicos cuyas necesidades originalmente atendió NSFnet son apenas recordados por las masas en línea.
Avance rápido hasta 2002. Este verano, la National Science Foundation comenzará a instalar el hardware para TeraGrid, una supercomputadora transcontinental que debería hacer por la potencia informática lo que Internet hizo por los documentos. Primero, se establecerán grupos de microcomputadoras de alta gama en cuatro sitios: el Centro Nacional de Aplicaciones de Supercomputación de la Universidad de Illinois en Urbana-Champaign; el Laboratorio Nacional Argonne del Departamento de Energía de EE. UU. en las afueras de Chicago; Caltech en Pasadena, CA; y el Centro de Supercomputación de San Diego en la Universidad de California, San Diego. Luego, a principios del próximo año, esos cuatro grupos estarán conectados en red tan estrechamente que se comportarán como una sola entidad.
Esta computadora virtual resolverá problemas a una velocidad de hasta 13,6 billones de operaciones de punto flotante por segundo, o teraflops, ocho veces más rápido que la supercomputadora académica más poderosa disponible en la actualidad. Tal velocidad permitirá a los científicos abordar algunas de las tareas más intensivas desde el punto de vista informático en el expediente de investigación, desde problemas en el plegamiento de proteínas que formarán la base para nuevos diseños de fármacos hasta modelos climáticos y deducir el contenido y el comportamiento del cosmos a partir de datos astronómicos.
Pero más que eso, TeraGrid será un excelente ejemplo de lo que se conoce como computación en cuadrícula: la integración masiva de sistemas informáticos para ofrecer un rendimiento inalcanzable por cualquier máquina. La integración de estos sistemas será tan transparente que los usuarios no notarán que están en una red más de lo que los automovilistas prestan atención a qué cilindro está disparando en un momento dado. Para las personas que inician sesión en TeraGrid, el sistema se verá como otro conjunto de programas que se ejecutan en sus computadoras de oficina. Pero esa apariencia será engañosa: lo que parecen ser aplicaciones que residen en la máquina de escritorio local podrían ser en realidad herramientas de análisis de datos que se ejecutan en el clúster en San Diego, o software de visualización procesando bits en Argonne. Los archivos en los que están trabajando los usuarios de TeraGrid pueden consistir en bases de datos esparcidas por todo el país, que contienen miles de gigabytes, también conocido como. terabytes.
Los visionarios de la computación en cuadrícula esperan que esto sea solo el comienzo, que el TeraGrid de 53 millones de dólares catalizará una nueva era de computación en cuadrícula para las masas, al igual que NSFnet derribó las barreras que llevaron al florecimiento de Internet. Solo en el último año o dos, se han anunciado docenas de proyectos de este tipo en Europa, Asia y Estados Unidos, y es probable que se produzcan más. Y los desarrolladores de la computación en red ahora se están decidiendo por un estándar único, llamado Globus Toolkit, que ayudará a que los proyectos de red en desarrollo en todo el mundo se fusionen en una red mundial de energía de computadora que se puede conectar a la red.
Completamente transformacional es como resume Larry Smarr, director del Instituto de Telecomunicaciones y Tecnología de la Información de California, la computación en red. Smarr, conocido por su papel en el desarrollo del sistema de comunicaciones que evolucionó hasta convertirse en la columna vertebral de Internet, dice que la tecnología es lo que Internet ha estado desarrollando durante las últimas tres décadas. En la primera fase, explica, conectamos los cables y conectamos todas las computadoras. Luego, con la World Wide Web, comenzamos a incorporar todos los documentos en línea. Ahora, dice, con la computación en cuadrícula, nos conectaremos con todo lo demás (ver Planet Internet, TR marzo de 2002).
Esto significa que los usuarios comenzarán a experimentar Internet como un universo computacional sin fisuras. Aplicaciones de software, bases de datos, sensores, transmisiones de video y audio, todos renacerán como servicios que viven en el ciberespacio, ensamblándose y reensamblando sobre la marcha para cumplir con las tareas en cuestión. Una vez conectada a la red, una máquina de escritorio extraerá potencia computacional de todas las demás computadoras de la red. Lo que estamos viendo, dice Smarr, es el surgimiento de una nueva infraestructura sobre la cual se construirá primero la ciencia y luego toda la economía.
Computación como utilidad
Eso es una tarea difícil. Pero ciertamente describe la esperanza en IBM, que es el principal contratista de TeraGrid, así como de redes nacionales similares en Europa. David Turek, vicepresidente de tecnologías emergentes para el grupo de servidores de IBM, compara la computación en red con la red familiar de energía eléctrica: para usar un secador de pelo, simplemente conéctelo a una toma de corriente, dice. No tiene que preocuparse por el diseño de la turbina en las Cataratas del Niágara ni por la física de la transmisión de energía. Así es exactamente como Turek quiere que la gente piense sobre la potencia informática. En nuestra visión del futuro, si usted es un cliente que ocasionalmente necesita 10 teraflops, por ejemplo, no compre una máquina que esté infrautilizada la mayor parte del tiempo; Cómpralo de la red. Por lo tanto, la computación en red influirá en nuestra visión de la computación como una utilidad.
Si bien empresas como IBM construirían redes a gran escala, Turek dice que muchos usuarios querrán configurar sus propias redes. Es posible que veas que entre 10 y 20 departamentos se unen para crear una red en todo el campus o en toda la empresa, cada uno de los cuales aporta parte de la potencia informática que controlan, dice. En otro escenario, varias empresas independientes, como los contratistas de defensa, podrían hacer más o menos lo mismo para crear organizaciones virtuales: cuadrículas ad hoc que les permitirían usar los datos y el software patentados de los demás para preparar, por ejemplo, una propuesta para un nuevo ejército. aeronave. Es por eso que no vamos a adoptar la red como algo que solo se puede hacer con la tecnología de IBM, explica Turek. Después de todo, dice, si cinco empresas quieren unirse en una red, la probabilidad de que las cinco tengan los mismos servidores es bastante reducida.
Y eso, agrega Turek, es la belleza del Globus Toolkit: un conjunto de herramientas de software de código abierto que está emergiendo rápidamente como el estándar de facto para la computación en cuadrícula, de la misma manera que lo es el protocolo de transferencia de hipertexto, o HTTP. el estándar para vincular documentos en la Web. De hecho, la creciente aceptación de Globus es en gran parte responsable de la ola actual de entusiasmo por la computación en red.
La idea es permitir que la red proporcione los mecanismos básicos para mover datos, mientras que Globus proporciona mecanismos para compartir recursos, explica Carl Kesselman del Instituto de Ciencias de la Información de la Universidad del Sur de California. Kesselman ha estado desarrollando Globus Toolkit durante los últimos cinco años en colaboración con Ian Foster, un científico informático de la Universidad de Chicago que dirige el laboratorio de sistemas distribuidos de Argonne.
Los mecanismos que proporciona Globus son tan esenciales para el funcionamiento de la red informática como los semáforos para el tráfico de la ciudad. Un conjunto de herramientas de software de Globus, por ejemplo, busca automáticamente en qué lugar de la cuadrícula se puede encontrar una base de datos o un programa requerido. Otras herramientas permiten iniciar sesión una sola vez, de modo que no se le pida constantemente al usuario contraseñas para un sitio tras otro. Otros más dividen un trabajo computacional en múltiples subtareas y las distribuyen entre los diversos sistemas de la cuadrícula. Y lo más importante, Globus proporciona herramientas para implementar la seguridad que garantiza, por ejemplo, que un programa externo que intenta interactuar con su máquina cumple un propósito legítimo y no ha sido enviado por ningún pirata informático malintencionado.
Por supuesto, nada de esto es completamente nuevo: vale la pena recordar, señala Kesselman, que ARPAnet [el antepasado de Internet construido por el ejército] se creó en la década de 1960 para brindar a los usuarios de un campus acceso compartido a recursos en un campus diferente. Asimismo, señala, los métodos para dividir los trabajos computacionales en piezas más pequeñas para varias máquinas fueron un tema de investigación constante durante las décadas de 1970 y 1980.
Pero fue solo en la década de 1990, dice Kesselman, que el poder en rápido aumento de las computadoras y las redes sacó esta tendencia, conocida como computación distribuida, fuera de los laboratorios. Un resultado fue una serie de experimentos en lo que ahora se conoce como computación de igual a igual, todos dedicados de una forma u otra a aprovechar la potencia informática y la capacidad de almacenamiento de las máquinas de escritorio inactivas. Entre los más conocidos de estos esfuerzos se encuentran Napster, el sistema de intercambio de archivos de música MP3, ySETI @ hogar, en el que los datos del radiotelescopio del proyecto de búsqueda de inteligencia extraterrestre se distribuyen a las PC a través de Internet.
Al mismo tiempo, sin embargo, la comunidad de computadoras de alto rendimiento comenzó una serie de experimentos menos publicitados pero mucho más ambiciosos en metacomputación. La idea era hacer que muchas computadoras distribuidas funcionaran como una computadora gigante. El teclado y la pantalla de la metamáquina estarían en el escritorio de alguien, como de costumbre. Pero su procesador central podría ser en realidad una supercomputadora en Illinois, por ejemplo, mientras que su procesador de gráficos podría ser una instalación de realidad virtual inmersiva en California. Funcionó, dice Kesselman, el único problema es que los experimentadores tenían que reinventar la rueda cada vez. Todavía no existía un software estándar para la computación distribuida, dice, ni una infraestructura para soportarlo.
El hito de la tecnología se produjo en 1995, en una conferencia de supercomputación patrocinada por el Instituto de Ingenieros Eléctricos y Electrónicos y la Asociación de Maquinaria de Computación. Allí, 11 redes de alta velocidad separadas se conectaron brevemente en una metacomputadora gigante en una demostración llamada I-Way. Los asistentes al Centro de Convenciones de San Diego pudieron jugar con un modelo interactivo del ecosistema de la Bahía de Chesapeake, o una simulación de alta resolución de galaxias espirales en colisión, unas 60 aplicaciones en total. Foster, quien dirigió el equipo que creó parte del software subyacente del sistema, quedó especialmente impresionado por el uso potencial de I-Way en el diseño colaborativo. En una demostración, recuerda, los investigadores de Argonne se unieron a los de un grupo industrial, Nalco Fuel Tech, para hacer una simulación de realidad virtual para diseñar incineradores. Los usuarios de diferentes sitios podían volar juntos a través del incinerador, colocar inyectores en varios puntos y estudiar conjuntamente el efecto en su producción, recuerda.
La demostración tuvo el efecto deseado. I-Way convenció a la gente de que la computación en red tenía un gran potencial, dice Foster. Una recompensa importante fue que en octubre de 1996, la Agencia de Proyectos de Investigación Avanzada de Defensa de EE. UU. Financió el proyecto Globus de Kesselman y Foster para proporcionar una base sólida para la computación en red. En la conferencia de supercomputadoras de 1997, Foster y Kesselman demostraron una cuadrícula con unos 80 sitios en todo el mundo que ejecutan software Globus, otra hazaña que, en opinión de Foster, convenció a la gente de que la computación en cuadrícula valía la pena y era real. En ese punto, además, Foster y Kesselman incluso habían comenzado a llamarlo computación en cuadrícula, jugando con la analogía con la red eléctrica.
Física y más allá
Una vez que se introdujo el concepto, la computación en cuadrícula de repente pareció satisfacer una necesidad de científicos de todo el mundo. En Ginebra, por ejemplo, el laboratorio de física de alta energía de la Organización Europea para la Investigación Nuclear (conocido por el acrónimo CERN) ya estaba planificando su acelerador de partículas de próxima generación, el Gran Colisionador de Hadrones, un esfuerzo que promete generar una cantidad abrumadora de datos. Estimamos que cuando el colisionador comenzó a funcionar en 2006 produciría de ocho a 10 petabytes de datos de colisión de partículas por año, dice Fabrizio Gagliardi, director del seminario anual de computación para físicos del CERN. Eso son petabytes, millones de gigabytes.
Partes de esta inmensa carga de datos tendrían que distribuirse a las instituciones de todo el mundo que participan en los experimentos del CERN. Y dado que la física más interesante tiende a encontrarse en los eventos más raros, explica Gagliardi, los científicos estarían procesando cada bit de esos datos de múltiples maneras, buscando indicios del bosón de Higgs teóricamente predicho pero escurridizo, digamos, o partículas que posean el cualidad misteriosa conocida como supersimetría. En resumen, el colisionador presagiaba un enorme problema de gestión de datos para el que los sistemas informáticos existentes parecían inadecuados. Definimos una arquitectura computacional para lo que necesitaríamos, recuerda Gagliardi. Luego fuimos a comprar un sistema de herramientas para construirlo y descubrimos que los científicos de la computación ya habían encontrado soluciones.
Varias soluciones, de hecho. En la Universidad de Virginia, el científico informático Andrew Grimshaw había estado trabajando desde 1993 en un conjunto atractivo y bien pensado de protocolos de computación en red conocidos como Legion. (Legion ahora está siendo comercializada por Avaki de Cambridge, MA, que fundó Grimshaw). Pero Globus tenía la ventaja de ser abierto: en aras de lograr su adopción lo más amplia y rápidamente posible, Foster y Kesselman habían decidido emular el desarrolladores del ahora famoso sistema operativo Linux y poner el código fuente de Globus a disposición de los usuarios que lo deseen, para que puedan estudiarlo, experimentar con él y sugerir mejoras.
El resultado fue que Globus se convirtió en la base del DataGrid europeo, un proyecto de desarrollo de software y demostración de tres años que se lanzó el 1 de enero de 2001, con un compromiso de 13,5 millones de euros (aproximadamente $ 12 millones) de la Unión Europea. A principios de 2002, el DataGrid había desplegado más de 100 computadoras, 20 en el CERN, las otras en sitios alrededor del continente, según Gagliardi, ahora director del DataGrid. El proyecto también se ha expandido más allá de la física de partículas para incluir otras dos disciplinas científicas que enfrentan desafíos de procesamiento y procesamiento de datos igualmente abrumadores: la observación de la tierra y la biología.
Mientras tanto, la computación en cuadrícula ha encontrado una bienvenida aún más cálida entre los científicos de los Estados Unidos, y Globus nuevamente es la elección de prácticamente todos los grandes proyectos. Uno de los primeros en ponerse en marcha fue Grid Physics Network. Organizado por Foster y el físico Paul Avery de la Universidad de Florida, este esfuerzo se lanzó en septiembre de 2000 con $ 11,9 millones de la National Science Foundation. Se centra en la gran cantidad de datos físicos generados por cuatro fuentes diferentes: dos detectores de partículas especializados alojados en el Gran Colisionador de Hadrones; el Observatorio de Ondas Gravitacionales del Interferómetro Láser, una colaboración de Caltech-MIT que detectará ondas gravitacionales de púlsares y similares; y Sloan Digital Sky Survey, un esfuerzo internacional para mapear las estrellas y galaxias más débiles posibles, más de 100 millones de cuerpos celestes en total. Las iniciativas más recientes incluyen la cuadrícula de la NSF Network for Earthquake Engineering Simulation, un esfuerzo para integrar observaciones y simulaciones por computadora ahora dispersas entre unos 20 laboratorios diferentes, con el objetivo de producir diseños más efectivos para estructuras resistentes a terremotos.
Y ahora, por supuesto, está la cuadrícula TeraGrid, la cuadrícula de poner tu dinero donde está tu boca, como la llama Charles Catlett de Argonne. Hemos estado hablando durante años, dice Catlett, directora ejecutiva del proyecto. Pero para que TeraGrid logre lo que promete, los clústeres de microcomputadoras de alta potencia ubicados en sus cuatro sitios físicos deberán estar unidos por una red dedicada que funcione a 40 gigabits por segundo, que estará justo en el borde irregular del estado. del arte. Esto nos mostrará mucho sobre cómo funciona realmente el software en un entorno de producción, dice Catlett. Está hablando del software Globus, los protocolos de Internet, el sistema operativo Linux, todo eso.
En el aspecto técnico, dice Catlett, uno de los grandes desafíos es asegurarse de que Globus pueda escalar con éxito. Es fundamental, señala, asegurarse de que los servicios y protocolos de Globus puedan manejar cientos o miles de veces más dispositivos de los que manejan ahora. Evidentemente, coincide Foster, todavía queda mucho por hacer.
Luego está el lado comercial. Aquí, la computación en red se encuentra con la misma pregunta que hundió a muchas de las punto com demasiado optimistas: ¿cómo se generará dinero con esta tecnología? Si la informática es una utilidad, dice Foster, ¿quién va a pagar por la infraestructura? ¿Qué tipo de servicios está dispuesta a pagar la gente? En particular, ¿dónde está la aplicación asesina, la aplicación imprescindible que impulsará el crecimiento de la computación en cuadrícula de la forma en que la hoja de cálculo lo hizo con la computación personal? La mayoría de los proyectos de redes actuales apenas han pasado de la etapa de si lo construimos, vendrán.
Por otro lado, dice Foster, tenemos algunas ideas. Un ejemplo notable es Access Grid, un sistema desarrollado por Argonne basado en Globus, como tantas otras cosas en la computación en red, que admite reuniones multisitio a gran escala a través de Internet, así como conferencias y sesiones de trabajo colaborativo. Ya vincula más de 80 sitios académicos y de la industria de todo el mundo. Además, dice Foster, a medida que se ponen en marcha más y más grandes proyectos científicos como TeraGrid y DataGrid, hay muchas razones para pensar que servirán como laboratorios para nuevas aplicaciones de redes que luego se abrirán camino en el mundo comercial, con enormes impacto. Después de todo, la mejor aplicación de Internet, la World Wide Web, no surgió de un laboratorio corporativo. Salió del CERN.
Cuadrícula desbloqueada
Si bien la Web puede ser un acto difícil de seguir, los defensores de la computación en red han estado allanando el camino para la comercialización esperada de la tecnología al enfocarse en cuestiones tan esenciales como el establecimiento de estándares. Recuerde cuánto hemos ganado con el hecho de que todas las computadoras ejecutan el Protocolo de Internet, dice Foster. Para lograr la misma universalidad para la computación en red, la comunidad de redes de EE. UU. Se ha fusionado con las de Europa y Asia para formar el Global Grid Forum, una organización que sigue el modelo del organismo de establecimiento de estándares de Internet, el Grupo de trabajo de ingeniería de Internet. El objetivo del foro es asegurarse de que Globus, Legion y cualquier otro protocolo de red puedan interoperar sin problemas. Si todas las computadoras utilizan métodos estándar para administrar la autenticación, la autorización, describir las capacidades de los recursos y negociar el acceso a los recursos, dice Foster, eso es una gran victoria.
Los pioneros de la red también están construyendo alianzas con sus contrapartes en la informática comercial peer-to-peer. En la práctica, sin embargo, los esfuerzos de igual a igual parecen ser más efectivos para problemas que pueden dividirse fácilmente en una miríada de piezas pequeñas e independientes, una categoría que generalmente no incluye, digamos, las complejas simulaciones de física y las aplicaciones de inmersión virtual donde la computación en cuadrícula realmente brilla. No obstante, dice Foster, el potencial de sinergia es claro. Es por eso que los protocolos Globus ya se han integrado en sistemas peer-to-peer de fuerza industrial como los protocolos Condor desarrollados en la Universidad de Wisconsin-Madison y la plataforma Entropia de Entropia de San Diego, los cuales están diseñados para capturar la capacidad no utilizada de las estaciones de trabajo en red de una organización.
La recompensa de tales esfuerzos es que la industria de la computación ahora parece estar tomando muy en serio la computación en cuadrícula, siendo el ejemplo más notable IBM. En agosto pasado, al mismo tiempo que ganaba el contrato para construir redes nacionales en el Reino Unido y los Países Bajos, así como TeraGrid en los Estados Unidos, Big Blue anunció que habilitaría la red para muchos de sus sistemas de servidores. Se dijo que esta iniciativa, que significaría que los servidores de muchas instituciones y organizaciones podrían conectarse a redes de red rápida y fácilmente, era tan grande o más grande que el compromiso de IBM con Linux, que ya ascendía aproximadamente a mil millones de dólares. (De hecho, IBM ya había utilizado Globus para vincular sus propios laboratorios de I + D en Estados Unidos, Israel, Suiza y Japón).
Sin embargo, IBM no está solo. En noviembre pasado, otros ocho fabricantes de computadoras (Compaq, Cray, Silicon Graphics, Sun Microsystems y Veridian en los Estados Unidos, junto con Fujitsu, Hitachi y NEC en Japón) anunciaron que implementarían Globus Toolkit en sus máquinas como una plataforma estándar para Computación en cuadrícula. Luego, a principios de este año, Microsoft completó un contrato con Argonne para traducir el Kit de herramientas Globus existente a Windows XP, según Todd Needham, gerente del grupo de Programas de Investigación Universitaria del gigante del software.
Por lo menos, la medida de Microsoft debería acelerar el día en que las computadoras domésticas y de oficina puedan unirse a la red por millones, con solo enchufarlas. Pero quizás de manera igualmente significativa, también simboliza la alianza en rápido desarrollo entre la computación en red y la Web. services, una tecnología similar que ha surgido de forma independiente en los últimos años y ha sido adoptada de formas ligeramente diferentes por Microsoft, IBM y Sun, entre otros. Al igual que la computación en cuadrícula, la idea de los servicios web gira en torno a futuras aplicaciones de software que se crean sobre la marcha a partir de programas y datos que viven en Internet, no en la máquina del usuario. La principal diferencia entre esta idea y la computación en cuadrícula es que el software de servicios web tiende a estar mucho más vinculado a los protocolos de la World Wide Web, así como a estándares basados en la web como XML.
Sin embargo, una vez más, como sugiere la adopción de Globus por Microsoft e IBM, el potencial de sinergia es obvio. En enero, Foster, Kesselman, Jeffrey Nick de IBM y Steven Tuecke de Argonne propusieron una Arquitectura de Servicios de Red Abierta que integraría los dos enfoques y anunciaron que este marco se implementaría como la versión 3.0 de Globus Toolkit. IBM, Microsoft, Platform Computing, Entropia y Avaki anunciaron su apoyo a la nueva arquitectura, junto con otras empresas que lo seguirán.
¿Y en el futuro? De hecho, la historia está a punto de repetirse, declara el defensor de la computación en red Smarr, excepto que la explosión de la actividad de la red puede muy bien eclipsar incluso el boom de Internet de la década de 1990. En el futuro previsto por Smarr, las cuadrículas de todos los tamaños estarán interconectadas. Los supernodos, como TeraGrid, serán grupos de supercomputadoras en red que servirán a los usuarios a escala nacional o internacional. Los nodos de tamaño medio más numerosos utilizarán software como Entropia para aprovechar la potencia de varias computadoras de escritorio y portátiles. Si TeraGrid y otros supernodos son como centrales eléctricas centrales, explica Smarr, estos nodos más pequeños serán como colectores de energía solar que capturan un recurso difuso pero enorme.
Aún más numerosos serán los millones de nodos individuales: máquinas personales que los usuarios conectan a la red para aprovechar su energía según sea necesario. Si, digamos, los miembros de un grupo de ciudadanos estuvieran preocupados por un proyecto de desarrollo propuesto, podrían usar la red para ejecutar las mismas simulaciones que usaron los desarrolladores y los funcionarios gubernamentales involucrados. De esa manera, podrían ver fácilmente el efecto del desarrollo en todo, desde el agua subterránea hasta los patrones de tráfico y el empleo. Mediante el uso de tecnologías de teleinmersión basadas en la red, los ciudadanos podrían incluso recorrer el proyecto simulado y tener una idea realista de lo que se sentiría al estar allí.
Y gracias a la revolución inalámbrica, los micronodos estarán en todas partes. Debido a la miniaturización de componentes, dice Smarr, tendremos miles de millones de puntos finales que son sensores, actuadores y procesadores integrados. Estarán en todo, monitoreando el estrés en los puentes, monitoreando el medio ambiente; en última instancia, incluso estarán en nuestros cuerpos, monitoreando nuestros corazones.
Y eso, enfatiza, es la razón por la que tenemos que sentar una base sólida para la red ahora, construyendo en seguridad y todo lo demás desde el principio. No podemos hacerlo como una ocurrencia tardía, dice. El planeta está ensamblando la infraestructura de la red en la que vivirá durante el resto del siglo XXI.