211service.com
La supercomputadora resuelve Twitter en tiempo real
Determinar los usuarios más influyentes de Twitter probablemente no sea lo que los creadores de la Cray XMT superordenador tenía en mente cuando diseñaron su máquina. Pero cuando estás acumulando tanto calor computacional, vas donde están los problemas difíciles. Twitter, Facebook y el resto de la red social se han convertido en el equivalente moderno del enfriador de agua, aunque con un transcriptor automático presente. Y procesar todos los datos que genera la conversación resulta ser un problema muy difícil.
Supercomputadora Cray XMT cortesía Cray
Por ejemplo, en febrero de 2010, Facebook incluía 400 millones de usuarios activos con un promedio de 120 conexiones de amigos cada uno, todos los cuales compartían colectivamente 5 mil millones de piezas de información en un solo mes.
Averiguar quiénes son los influencers en redes sociales tan masivas requiere crear un gigantesco gráfico social, donde cada usuario es un vértice y las conexiones entre ellos son líneas. Clasificar a los usuarios dentro de un gráfico de este tipo requiere una determinación de su centralidad. Es decir, cuántas otras personas están conectadas a ellos y cuántas personas están conectadas a ellos, y así sucesivamente, hasta llegar al tronco de la estructura de árbol subyacente a la conexión en un servicio como Twitter.
Resulta que este no es el tipo de problema que se resuelve fácilmente incluso en las estaciones de trabajo habituales del mundo de la supercomputación científica: las supercomputadoras con tecnología GPGPU que aprovechan los chips gráficos que se suelen utilizar para renderizar exuberantes entornos 3D en videojuegos. Estas estaciones de trabajo GPGPU simplemente no permiten un control suficiente sobre cuántos procesos se están ejecutando en paralelo para agitar de manera eficiente gráficos sociales tan grandes como el representado por Twitter o Facebook.
Por eso David Ediger de Georgia Tech, con la ayuda de una larga lista de colaboradores , recurrió al Cray XMT de 128 CPU alojado en el Laboratorio Nacional del Noroeste del Pacífico. El XMT es uno de los favoritos de los supercomputadores hot-rodders y super-geeks que aprecian su afinabilidad masiva multiproceso de grano fino. Esta máquina generalmente se pone en servicio para resolver problemas como el modelado bayesiano jerárquico para el análisis de texto o analizar la estabilidad de la red eléctrica de Estados Unidos , pero Ediger lo tenía reflexionando sobre cada pensamiento perdido de un solo día de la Twitter firehose .
The Cray hizo un breve trabajo con Twitter, deshaciéndose de las conexiones de un día entero en menos de una hora. Los resultados no sorprenderán a nadie: en Twitter, una pequeña fracción de las fuentes son retuiteadas ampliamente, principalmente el gobierno y los medios de comunicación, mientras que el resto del servicio son personas que hablan en grupos pequeños o literalmente hablan consigo mismas.
El punto, sin embargo, es que lanzar un Cray finamente ajustado que ejecuta el software personalizado de Ediger, GraphCT, en Twitter permitió a los investigadores asimilar el servicio en algo así como en tiempo real. Que es exactamente el tipo de capacidad que las agencias de inteligencia, los especialistas en marketing y tal vez incluso el propio Twitter querrían tener.
Sigue a Mims en Twitter o contáctalo por correo electrónico .