211service.com
Cómo un algoritmo de detección de trolls aprendió su oficio antisocial
Los trolls son el flagelo de muchos sitios de Internet. Estas son personas que deliberadamente se involucran en un comportamiento antisocial al publicar mensajes incendiarios o fuera de tema. En el mejor de los casos, son una molestia frustrante; en el peor de los casos, pueden hacer que la vida de las personas sea una miseria.
Por lo tanto, una forma de detectar trolls al principio de sus carreras en línea y prevenir sus peores excesos sería una herramienta valiosa.
Hoy, Justin Cheng de la Universidad de Stanford en California y algunos amigos dicen que han creado una herramienta de este tipo analizando el comportamiento de los trolls en varios sitios web conocidos y creando un algoritmo que puede detectarlos con precisión después de tan solo 10 publicaciones. Dicen que su técnica debería ser de gran importancia práctica para las personas que mantienen comunidades en línea.
Cheng y compañía estudian tres comunidades de noticias en línea: el sitio de noticias generales CNN.com, el sitio de noticias políticas Breitbart.com y el sitio de juegos de computadora IGN.com.
En cada uno de estos sitios, tienen una lista de usuarios que han sido baneados por comportamiento antisocial, más de 10,000 en total. También tienen todos los mensajes publicados por estos usuarios a lo largo de su período de actividad en línea. Tales individuos son ejemplos claros de usuarios antisociales y constituyen una 'verdad básica' en nuestros análisis, dicen Cheng y compañía.
Estos muchachos se propusieron responder tres preguntas diferentes sobre usuarios antisociales. Primero, si son antisociales a lo largo de su vida comunitaria o sólo hacia el final. Segundo, si la reacción de la comunidad hace que su comportamiento empeore. Y, por último, si los usuarios antisociales pueden identificarse con precisión desde el principio.
Al comparar los mensajes publicados por usuarios que finalmente están prohibidos con los mensajes publicados por usuarios que nunca están prohibidos, Cheng y compañía descubren algunas diferencias claras. Una medida que utilizan es la legibilidad de las publicaciones, según lo juzgado por una métrica llamada Índice de legibilidad automatizado.
Esto muestra claramente que los usuarios que luego son baneados tienden a escribir publicaciones de peor calidad para empezar. Y no solo eso, la calidad de sus publicaciones disminuye con el tiempo.
Y aunque las comunidades inicialmente parecen indulgentes y, por lo tanto, tardan en prohibir a los usuarios antisociales, se vuelven menos tolerantes con el tiempo. Esto da como resultado una mayor tasa de eliminación de [publicaciones de usuarios antisociales], dicen.
Curiosamente, Cheng y compañía dicen que las diferencias entre los mensajes publicados por personas que luego son prohibidas y aquellas que no lo son son tan claras que es relativamente sencillo detectarlas utilizando un algoritmo de aprendizaje automático. De hecho, solo necesitamos observar de cinco a 10 publicaciones de usuarios antes de que un clasificador pueda hacer una predicción confiable, se jactan.
Eso podría resultar útil. El comportamiento antisocial es un problema cada vez más grave que requiere un aporte humano significativo para detectarlo y abordarlo. Este proceso a menudo significa que los usuarios antisociales pueden operar durante mucho más tiempo del necesario. Nuestros métodos pueden identificar efectivamente a los usuarios antisociales en una etapa temprana de su vida comunitaria y aliviar parte de esta carga, dicen Cheng y compañía.
Por supuesto, se debe tener cuidado con cualquier enfoque automatizado. Un peligro potencial es prohibir innecesariamente a los usuarios que no son antisociales pero que el algoritmo ha identificado como tales. Esta tasa de falsos positivos debe estudiarse más detenidamente.
Sin embargo, el trabajo de los moderadores en los sitios que permiten mensajes pronto podría simplificarse significativamente gracias al enfoque de Cheng y compañía.
Ref: arxiv.org/abs/1504.00680 : Comportamiento antisocial en comunidades de discusión en línea