Cómo DARPA se enfrentó a la amenaza de los bots de Twitter con una mano detrás de la espalda

Uno de los fenómenos más preocupantes en Twitter es la proliferación de bots que generan tweets automáticamente en un intento de difundir spam, ganar dinero de forma ilícita a través del fraude de clics y, lo que es más preocupante, influir en la discusión sobre temas como el terrorismo y la política.

La cantidad de cuentas de Twitter involucradas en este tipo de actividad no es pequeña. En 2014, Twitter admitió que más del 8 por ciento de sus cuentas estaban automatizadas, es decir, unos 23 millones de usuarios activos de Twitter.

La compañía señaló que muchos de estos eran perfectamente legítimos: muchas de estas cuentas publican o muestran abiertamente tweets de otros usuarios. Sin embargo, un número significativo claramente no está tramando nada bueno, y los bots de influencia son una preocupación particular.

Por ejemplo, el grupo que se autodenomina Estado Islámico utiliza las redes sociales en línea para persuadir a los jóvenes de que adopten su causa. Algunos observadores creen que Rusia se embarcó en una importante campaña de desinformación en las redes sociales sobre la anexión de Crimea. Otros dicen que los bots jugaron un papel importante al influir en el resultado de las elecciones en India en 2014.

Por lo tanto, una forma de detectar de forma fiable los bots de influencia en Twitter sería muy útil. El año pasado, la Agencia de Proyectos de Investigación Avanzada de Defensa (DARPA, por sus siglas en inglés) se propuso encontrar un método de este tipo mediante la realización de una competencia de cuatro semanas en la que se pidió a los equipos que detectaran bots en una serie de publicaciones sobre el tema de las vacunas. Un equipo resultó ser un claro ganador y los resultados demostraron algunas estrategias nuevas e importantes para identificar bots en el mundo real.

Hoy tenemos una visión única de esta competencia y las estrategias que emplearon los equipos gracias a un artículo de V.S. Subrahmanian en la Universidad de Maryland en College Park y Sentimetrix y algunos amigos.

La competencia fue tan realista como DARPA pudo hacerla. Los tuits fueron mensajes extraídos de la transmisión de Twitter durante un debate de 2014 sobre vacunas. En este debate, se crearon varios bots como parte de una competencia para ver cómo podían influir en las discusiones. Entonces, DARPA tenía un conocimiento real de qué cuentas eran artificiales y cuáles eran reales.

En total, el conjunto de datos contenía más de cuatro millones de mensajes de más de 7000 cuentas, de las cuales 39 eran bots en los lobbies a favor o en contra de la vacunación. Cada mensaje contenía una identificación única, un perfil de usuario que incluía una imagen, una URL y una imagen, donde se incluían. Los datos también incluían una marca de fecha y hora, así como información sobre los seguidores y cuándo una cuenta dejó de seguir a otra. Todo esto se mostró a los competidores en un entorno sintético de Twitter durante cuatro semanas en febrero y marzo.

Luego, los equipos tuvieron que analizar esta transmisión de Twitter y adivinar qué usuarios eran bots. Cada suposición correcta les dio un solo punto, pero un equipo perdió 0,25 puntos por cada suposición incorrecta. Un equipo que adivinó todos los bots D días antes del final del desafío también consiguió D puntos, ya que DARPA está particularmente interesada en la detección temprana de bots de influencia.

El equipo ganador fue de la empresa de análisis de redes sociales Sentimetrix, que adivinó todos los bots 12 días antes de la fecha límite y solo hizo una suposición incorrecta. Eso les dio una puntuación de 50,75 puntos. (El equipo del segundo lugar, de la Universidad del Sur de California, obtuvo 45 puntos y encontró todos los bots seis días antes de la fecha límite sin conjeturas incorrectas).

Las estrategias ganadoras son reveladoras. Los equipos comenzaron intentando identificar un conjunto inicial de bots en los datos. Curiosamente, ninguno de los equipos pudo automatizar este paso y la mayoría utilizó un aporte humano significativo.

Sentimetrix usó un algoritmo previamente entrenado para buscar un comportamiento similar al de un bot. El equipo había entrenado este algoritmo con los datos de Twitter de las elecciones indias de 2014, que incluían muchos bots. Buscó una gramática inusual, la similitud de la lingüística con los chatbots de lenguaje natural como Eliza y comportamientos inusuales como períodos prolongados de tweets sin interrupción que un humano no podría realizar fácilmente.

Esto reveló cuatro cuentas que eran claramente bots, y Sentimetrix luego las usó para encontrar otras. Una suposición era que los fabricantes de bots tienden a producir muchos bots similares y los vinculan entre sí para inflar su popularidad. Por lo tanto, el equipo pudo usar el análisis de redes y clústeres para encontrar otros bots probables, que luego compararon con bots conocidos.

El equipo también utilizó características como la actividad temporal de las cuentas asumiendo que una cuenta automatizada mostraría regularidades inusuales. Sentimetrix también buscó usuarios que cambiaron de lealtad durante el debate de pro-vacunación a anti-vacunación (o viceversa). Asumieron que esto podría ser una estrategia de bot para infiltrarse en un lado del argumento y luego publicar argumentos opuestos.

Una característica clave del éxito de Sentimetrix fue la forma en que visualizaba los resultados de su trabajo en un tablero en línea para que un usuario humano pudiera ver fácilmente el estado del análisis de cada usuario.

En esta segunda etapa, Sentimetrix identificó otros 25 bots. Eso les dio suficientes datos para entrenar un algoritmo de aprendizaje automático para buscar otros bots a través de los datos. Y este enfoque los llevó a los 10 bots restantes.

Los equipos no sabían cuántos bots estaban trabajando, por lo que un problema importante era saber cuándo dejar de buscar. Sentimetrix, por ejemplo, se detuvo cuando ya no pudo encontrar cuentas que parecieran bots.

Ese es un trabajo impresionante que podría tener una influencia importante en los esfuerzos para encontrar bots que intentan influir en las discusiones en línea de manera inapropiada. Publicar estrategias como esta debería ayudar a otros jugadores a desarrollar tácticas anti-bot también.

Pero también podría tener un impacto negativo. La batalla entre bots y cazadores de bots está en constante evolución. Con documentos como este, los cazadores de bots están revelando su mano de una manera que permite a los creadores de bots diseñar estrategias para derrotar específicamente a estos algoritmos. En cierto modo, es como luchar con una mano atada a la espalda.

Sin embargo, la tentación de mantener en secreto las estrategias de caza de bots sería peligrosa de promover. Este tipo de apertura es parte de nuestra sociedad libre y seguramente una de las razones clave por las que vale la pena luchar para preservarla.

De cualquier manera, esta batalla del gato y el ratón continuará.

Ref: El desafío del Bot de Twitter de DARPA: arxiv.org/abs/1601.05140

esconder