Gente terrible ha aprendido a explotar Internet. Yasmin Green está contraatacando.

El equipo de Jigsaw en Alphabet trae a las personas que se radicalizaron en línea desde el borde del abismo, un video a la vez. Por

• martín giles página de archivo

19 de febrero de 2018

Landon Speers

Discurso de odio, radicalización en línea, tutoriales para fabricar bombas, noticias falsas patrocinadas por el estado, censura web: Internet es un lugar terrible.

Una parte de ella es, de todos modos. Ayudar a mantener esa porción lo más pequeña posible es el trabajo de Yasmin Green, directora de investigación y desarrollo de Jigsaw, un brazo de la empresa matriz de Google, Alphabet. Se enfrenta a terroristas y trolls por igual con un grupo multinacional de alrededor de 60 especialistas, incluidos ingenieros de software, científicos investigadores y gerentes de productos. También pueden aprovechar los enormes recursos de Google. Pero Green y sus colegas no pasan todo su tiempo codificando y construyendo; muchos de ellos también viajan a puntos geopolíticos calientes para estudiar de cerca la radicalización. ella hablo con Revisión de tecnología del MIT sobre algunos de los métodos del grupo.

Esta historia fue parte de nuestra edición de marzo de 2018

• Ver el resto del número
• Suscribir

¿Qué te atrajo del papel en Jigsaw?

Salí de Irán, donde nací, a una edad muy temprana y crecí en el Reino Unido. Recuerdo volver a la edad de 19 años y sentirme asombrado por el nivel de censura que había en el país, tanto en línea como fuera de línea. Términos como world wide web tienden a sonar irónicos para las personas que no viven en países donde la información es gratuita. Así que me atrajo trabajar en una empresa que trata de hacer que la información esté disponible para todos.

Landon Speers

Jigsaw se ocupa de las amenazas en línea, pero los miembros del equipo también visitan las zonas de conflicto como parte de su trabajo. ¿Cuál es el objetivo de estos viajes?

Queremos asegurarnos de que estamos diseñando tecnología basada en la comprensión de las experiencias humanas. Una gran parte de nuestra metodología es enviar a los miembros del equipo al campo para entrevistar a las personas que están en la primera línea de los desafíos que tratamos de abordar, ya sea la represión o el conflicto. Uno de nuestros viajes de campo fue a Irak, donde nos sentamos cara a cara con personas que se habían unido y luego se habían ido del grupo terrorista conocido como ISIS. Queríamos comprender el proceso de radicalización, tanto los elementos humanos como el papel que jugó la tecnología. Escuchamos sobre cómo la gente descubrió a ISIS, cómo se reclutó a la gente y cómo la tecnología fue útil para la logística de su viaje [para unirse al grupo].

¿Cuál es la lección más importante que hemos aprendido sobre la capacidad de ISIS para aprovechar Internet para el reclutamiento?

ISIS prácticamente domina muchos medios, desde la radio hasta los folletos. Cuando se trata de Internet, realmente han entendido el poder de la microfocalización. Crean contenido en una larga lista de idiomas, incluidos el árabe y el inglés, pero sigue y sigue, e incluso llega al chino y al hebreo. El idioma que realmente me asombró al ver un video fue el lenguaje de señas. Por lo tanto, están creando materiales de reclutamiento muy locales y utilizando los algoritmos que están disponibles a través de las redes sociales para distribuir este material y llegar a personas en todos los rincones del mundo.

Parte del contenido que las redes terroristas publican en línea claramente debe eliminarse. Pero, ¿cómo lidiamos con formas más sutiles de propaganda?

Definitivamente, hay categorías de contenido que desea asegurarse de que no vean la luz del día, como decapitaciones y tutoriales para fabricar bombas. Luego, hay una gran cantidad de otros contenidos que realmente no abogan por la violencia, pero que podrían ayudar a las personas a avanzar por el camino hacia ella. Nuestra investigación tuvo como objetivo comprender cuáles fueron los temas de reclutamiento que llevaron a las personas a unirse a ISIS. Resulta que generalmente no se sintieron atraídos por las decapitaciones; en cambio, estaban convencidos de que este grupo era religiosamente legítimo y que la causa de la yihad era su deber religioso. ISIS estaba dando forma a la conversación, haciendo preguntas para las que [él] tenía respuestas aparentemente convincentes.

No creo que nadie se haya imaginado que tendríamos el nivel de intimidación y discurso de odio en línea que tenemos actualmente, y tenemos que esforzarnos mucho para asegurarnos de que nos estamos adelantando.

¿Cómo ha tratado de contrarrestar esta radicalización en línea?

Una de las conclusiones para nosotros fue que el tiempo es fundamental. En el momento en que los reclutas potenciales se convencen de la ideología, es demasiado tarde para influir en ellos; tienes que llegar a ellos cuando simpatizan pero aún no están vendidos. Así que recurrimos a la publicidad en línea dirigida. Hemos diseñado algo llamado método de redirección, que utiliza anuncios dirigidos para llegar a personas que simpatizan con ISIS pero que aún no están comprometidas con él, y las redirige a videos en línea de clérigos moderados, desertores y periodistas ciudadanos que podrían evitar su radicalización.

¿Qué resultados ha dado este método?

El piloto, que duró ocho semanas y se desarrolló en árabe e inglés, llegó a 320.000 personas. Tuvo una tasa de clics excepcionalmente alta en los anuncios y generó medio millón de minutos de tiempo de reproducción de video. Dado que las personas no dedican más de unos segundos a un video que no les interesa, eso es alentador. Después de nuestro programa piloto, YouTube integró el método en sus resultados de búsqueda. La metodología de código abierto también ha sido replicada por otros, como Gen Next Foundation, y seguimos admitiendo algunas implementaciones nuevas.

Jigsaw también intenta abordar la censura en línea. ¿Qué tan malo es este problema?

Si miras el índice de Freedom House sobre esto, dicen que cada año la situación empeora. Eso es realmente desalentador, porque es la antítesis de lo que la gente que está desarrollando Internet quiere para él. La situación es tan volátil. Cuando hay disturbios civiles, como los hubo recientemente en Irán, se ve el dilema de los gobiernos represivos sobre si cerrar o no Internet porque [la censura] inflama a la población y atrae la atención y la indignación del público. Pero si los que están en el poder se sienten amenazados, censurarán.

¿Qué pueden hacer empresas como Alphabet para contrarrestar esto?

Sentimos una gran responsabilidad de ayudar a las personas a acceder a la información, especialmente cuando hay conflicto y represión. Uno de nuestros productos se enfoca en proteger a los medios independientes en todo el mundo de un tipo de ataque de censura llamado denegación de servicio distribuida, o DDoS, que deja los sitios web fuera de línea al inundarlos con tráfico. Se llama Proyecto Escudo. La idea de esto surgió de nuestro trabajo de campo. Nuestro equipo habló con el grupo de monitoreo electoral de Kenia, y su sitio se había caído el día de una elección clave. Google tiene una enorme infraestructura y capacidades de mitigación de DDoS de clase mundial, que Project Shield aprovecha. Sin que los sitios web tengan que hospedarse con Google o Jigsaw, ofrece examinar el tráfico antes de que llegue a un servidor para que podamos detectar el tráfico malicioso y filtrarlo.

Pasemos al problema de las noticias falsas. ¿Cómo podemos identificar mejor los esfuerzos de desinformación patrocinados por el estado?

Historia relacionada

Artículo relacionado Yasmin Green, jefa de I+D de Jigsaw de Alphabet, está utilizando la tecnología con la esperanza de hacer del mundo un lugar mejor. No es fácil.

El objetivo de estas campañas es plantar ideas y narrativas a través de personas falsas y sitios de noticias, y luego hacer que las masas fertilicen estas semillas para que las conversaciones parezcan orgánicas. La pregunta de investigación que nos hemos estado haciendo es si existen marcadores técnicos de actividad coordinada y encubierta frente a la actividad más orgánica que esperamos ver en línea. Si los hay, podríamos usarlos en la detección automática.

Estamos viendo varias dimensiones aquí. Las campañas coordinadas tienden a durar más que las orgánicas, y las personas involucradas tienden a esperar para recibir instrucciones de sus maestros, por lo que a veces hay un ligero retraso antes de que de repente actúen juntos. Esos actores también tienden a estar vinculados en redes extremadamente estrechas o grupos que parecen anómalos. También hay una dimensión semántica. Estas campañas a menudo usan palabras y frases similares que pueden ser una señal de control centralizado.

Las empresas web han sido criticadas por no hacer lo suficiente para abordar el acoso y el discurso de odio en línea. ¿Es justa esa crítica?

No creo que nadie se haya imaginado que tendríamos el nivel de intimidación y discurso de odio en línea que tenemos actualmente, y tenemos que esforzarnos mucho para asegurarnos de que nos estamos adelantando.

¿Qué está haciendo Jigsaw para frustrar a los trolls en línea?

Tenemos un equipo dedicado a ver cómo se puede usar el procesamiento del lenguaje natural y el aprendizaje automático para identificar la toxicidad en línea y ayudar a los moderadores y las comunidades a abordarla. Hay un modelo que hemos desarrollado que está disponible públicamente, llamado Perspectiva, y puede encontrarlo en www.perspectiveapi.com . Esto le ayuda a puntuar los comentarios según su nivel de toxicidad. El equipo de investigación está buscando formas de llegar a otro nivel de granularidad para ayudarnos a identificar mejor lo que sucede y cómo los moderadores pueden controlarlo.

Ha habido mucha preocupación de que el sesgo en los algoritmos pueda dañar a ciertos grupos de la sociedad. ¿Es esto algo en lo que también estás enfocado?

Si. Pasamos mucho tiempo pensando en cómo podemos asegurarnos de no tener sesgos en nuestra IA en Perspective que puedan ser perjudiciales para los objetivos de ese proyecto, que es crear conversaciones inclusivas y empáticas.

Pasas gran parte de tu vida centrado en el lado oscuro de Internet. ¿Sigues siendo optimista sobre su potencial?

Lo estoy, pero debemos seguir desarrollando tecnologías innovadoras que puedan ayudar a abordar estos desafíos realmente difíciles.

esconder