La IA todavía apesta moderando el discurso de odio

Sra. Tecnología | Getty, Unsplash

A pesar de todos los avances recientes en la tecnología de inteligencia artificial del lenguaje, todavía tiene problemas con una de las aplicaciones más básicas. En un nuevo estudio , los científicos probaron cuatro de los mejores sistemas de inteligencia artificial para detectar el discurso de odio y descubrieron que todos tenían dificultades de diferentes maneras para distinguir oraciones tóxicas e inocuas.

Los resultados no son sorprendentes: es difícil crear una IA que entienda los matices del lenguaje natural. Pero la forma en que los investigadores diagnosticaron el problema es importante. Desarrollaron 29 pruebas diferentes dirigidas a diferentes aspectos del discurso de odio para identificar con mayor precisión exactamente dónde falla cada sistema. Esto facilita la comprensión de cómo superar las debilidades de un sistema y ya está ayudando a un servicio comercial a mejorar su IA.

Los autores del estudio, dirigidos por científicos de la Universidad de Oxford y el Instituto Alan Turing, entrevistaron a empleados de 16 organizaciones sin fines de lucro que trabajan contra el odio en línea. El equipo usó estas entrevistas para crear una taxonomía de 18 tipos diferentes de discurso de odio, centrándose únicamente en el discurso de odio basado en texto e inglés, incluido el discurso despectivo, los insultos y el lenguaje amenazante. También identificaron 11 escenarios no odiosos que comúnmente hacen tropezar a los moderadores de AI, incluido el uso de blasfemias en declaraciones inocuas, calumnias que han sido reclamadas por la comunidad objetivo y denuncias de odio que citan o hacen referencia al discurso de odio original (conocido como contraataque). habla).

Para cada una de las 29 categorías diferentes, crearon a mano docenas de ejemplos y utilizaron oraciones de plantilla como Odio [IDENTIDAD] o Eres solo un [SLUR] para mí para generar los mismos conjuntos de ejemplos para siete grupos protegidos: identidades que son legalmente protegidos contra la discriminación bajo la ley estadounidense. Ellos de código abierto el conjunto de datos final llamado HateCheck, que contiene casi 4000 ejemplos en total.

Luego, los investigadores probaron dos servicios comerciales populares: Google Jigsaw's API de perspectiva y dos sombreros TamizarNinja . Ambos permiten a los clientes señalar contenido infractor en publicaciones o comentarios. La perspectiva, en particular, es utilizada por plataformas como Reddit y organizaciones de noticias como The New York Times y Wall Street Journal. Marca y prioriza publicaciones y comentarios para revisión humana en función de su medida de toxicidad.

Si bien SiftNinja fue demasiado indulgente con el discurso de odio y no pudo detectar casi todas sus variaciones, Perspective fue demasiado duro. Se destacó en la detección de la mayoría de las 18 categorías de odio, pero también marcó la mayoría de las que no son de odio, como los insultos reclamados y el discurso contrario. Los investigadores encontraron el mismo patrón cuando probaron dos modelos académicos de Google que representan algunas de las mejores tecnologías de IA de lenguaje disponibles y probablemente sirvan como base para otros sistemas comerciales de moderación de contenido. Los modelos académicos también mostraron un desempeño desigual entre los grupos protegidos, clasificando erróneamente el odio dirigido a algunos grupos con más frecuencia que a otros.

Historia relacionada

Cómo Facebook se volvió adicto a difundir información errónea

Los algoritmos de inteligencia artificial de la compañía le dieron un hábito insaciable de mentiras y discursos de odio. Ahora el hombre que los construyó no puede solucionar el problema.

Los resultados apuntan a uno de los aspectos más desafiantes de la detección de discursos de odio basada en IA en la actualidad: Modere muy poco y no podrá resolver el problema; modera demasiado y podrías censurar el tipo de lenguaje que utilizan los grupos marginados para empoderarse y defenderse: de repente, estarías penalizando a esas mismas comunidades que son el blanco más frecuente del odio en primer lugar, dice Paul Röttger, PhD. candidato en el Instituto de Internet de Oxford y coautor del artículo.

Lucy Vasserman, ingeniera de software líder de Jigsaw, dice que Perspective supera estas limitaciones al depender de moderadores humanos para tomar la decisión final. Pero este proceso no es escalable para plataformas más grandes. Jigsaw ahora está trabajando en el desarrollo de una función que volvería a priorizar las publicaciones y los comentarios en función de la incertidumbre de Perspective, eliminando automáticamente el contenido que seguramente es odioso y marcando el contenido límite para los humanos.

Lo emocionante del nuevo estudio, dice, es que proporciona una forma detallada de evaluar el estado del arte. Muchas de las cosas que se destacan en este documento, como que las palabras recuperadas son un desafío para estos modelos, eso es algo que se sabe en la industria pero que es realmente difícil de cuantificar, dice. Jigsaw ahora usa HateCheck para comprender mejor las diferencias entre sus modelos y dónde deben mejorar.

Los académicos también están entusiasmados con la investigación. Este documento nos brinda un recurso agradable y limpio para evaluar los sistemas de la industria, dice Maarten Sap, investigador de IA de lenguaje en la Universidad de Washington, que permite a las empresas y usuarios pedir mejoras.

Thomas Davidson, profesor asistente de sociología en la Universidad de Rutgers, está de acuerdo. Las limitaciones de los modelos lingüísticos y el desorden del lenguaje significan que siempre habrá compensaciones entre la subidentificación y la sobreidentificación del discurso de odio, dice. El conjunto de datos HateCheck ayuda a hacer visibles estas compensaciones, agrega.

esconder