211service.com
Yahoo tiene una herramienta que puede detectar abusos en línea sorprendentemente bien
Los trolls parecen acechar en todos los rincones de Internet y se deleitan en arruinarte el día. Pero si nuestras bandejas de entrada de correo electrónico pueden mantenerse relativamente libres de spam, ¿por qué las máquinas no pueden eliminar automáticamente los mensajes abusivos de los tweets o comentarios?
Es una pregunta que parece relevante para el tejido mismo de la cultura de Internet actual. la semana pasada, Twitter prohibido una periodista a la que acusó de orquestar una campaña de abusos dirigida a una de las estrellas del Cazafantasmas reiniciar. Twitter dijo que introduciría nuevas pautas y herramientas para denunciar abusos a través de su servicio. Ciertamente, muchos otros incidentes en Twitter y en otros lugares pasan desapercibidos todos los días.
Los investigadores, de hecho, están haciendo algunos progresos hacia la tecnología que puede ayudar a detener el abuso. Un equipo de Yahoo desarrolló recientemente un algoritmo capaz de detectar mensajes abusivos mejor que cualquier otro sistema automatizado hasta la fecha. Los investigadores crearon un conjunto de datos de abuso mediante la recopilación de mensajes en artículos de Yahoo que fueron marcados como ofensivos por los propios editores de comentarios de la empresa.
El equipo de Yahoo usó una serie de técnicas convencionales, incluida la búsqueda de palabras clave abusivas, puntuación que a menudo parecía acompañar a los mensajes abusivos y pistas sintácticas sobre el significado de una oración.
Pero los investigadores también aplicaron un enfoque más avanzado para la comprensión automatizada del lenguaje, utilizando una forma de representar el significado de las palabras como vectores con muchas dimensiones. Este enfoque, conocido como incrustación de palabras, permite que la semántica se procese de manera sofisticada. Por ejemplo, incluso si un comentario contiene una cadena de palabras que no han sido identificadas como abusivas, las representaciones de esa cadena en el espacio vectorial pueden ser suficientes para identificarlo como tal.
Cuando se combinó todo, el equipo pudo identificar mensajes abusivos (a partir de su propio conjunto de datos) con una precisión de aproximadamente el 90 por ciento.
Atrapar el 10 por ciento restante puede resultar complicado. Aunque los investigadores de IA están logrando avances significativos en el entrenamiento de máquinas para analizar el lenguaje, la inteligencia artificial aún tiene que equipar a las computadoras con la capacidad intelectual necesaria para desentrañar el significado. Como muestra un concurso realizado en una reciente conferencia de IA, las computadoras no pueden desentrañar las ambigüedades más simples en las oraciones.
Muchas empresas de tecnología, incluida Twitter, cuentan con investigadores de inteligencia artificial dedicados a mejorar el estado del arte en áreas como el reconocimiento de imágenes y la comprensión de textos. Pero hasta ahora, sorprendentemente, parece que se ha hecho poco esfuerzo para detectar el abuso o el acoso de manera sistemática. Twitter se negó a decir si su equipo de inteligencia artificial está trabajando activamente en el problema (aunque parece probable). Pero es poco probable que la empresa presente una varita mágica para filtrar mensajes maliciosos. El problema con el filtrado de odio automatizado es que las palabras están llenas de significado que solo se puede descifrar con inteligencia real.
Identificar automáticamente el abuso es sorprendentemente difícil, dice Alex Krasodomski-Jones, quien rastrea el abuso en línea como investigador en el Reino Unido. Centro de Análisis de Redes Sociales . El lenguaje del abuso es amorfo: cambia con frecuencia y se usa a menudo de maneras que no connotan abuso, como cuando los grupos que una vez denigraron se apropian de términos con carga racial o sexual. Dados 10 tweets, un grupo de humanos rara vez estará de acuerdo en cuáles deben clasificarse como abusivos, por lo que puede imaginar lo difícil que sería para una computadora.
Hasta que las máquinas adquieran inteligencia real, será imposible filtrar los mensajes de odio. Pero Krasodomski-Jones ofrece otra razón, más humana, por la que es posible que no queramos una solución automatizada: en un mundo donde lo que leemos está dictado cada vez más por algoritmos y filtros, debemos tener cuidado de exigir más interferencia informática.