211service.com
Es fácil pasar el lenguaje tóxico más allá del detector de comentarios tóxicos de Alphabet
El jueves, Alphabet lanzó un servicio basado en aprendizaje automático, llamado Perspective, destinado a identificar comentarios tóxicos en sitios web. Es de Jigsaw, una unidad que trabaja en tecnologías para hacer de Internet un lugar más seguro y civilizado. Pero cuando jugué con Perspective, los resultados fueron erráticos.
Perspective califica los comentarios en una escala de toxicidad del 1 al 100, definida como un comentario grosero, irrespetuoso o irrazonable que probablemente lo haga abandonar una discusión. Que se jodan, los partidarios de Trump se consideran altamente tóxicos, mientras que yo, sinceramente, apoyo a ambos, no lo es, por ejemplo. Pero Perspective tiene problemas para detectar el sentimiento detrás de un comentario, un problema que predije que preocuparía a Jigsaw cuando examiné sus ambiciones en diciembre (ver If Only AI Could Save Us From Ourselves).
Trump apesta obtuvo un colosal 96 por ciento, pero la palabra clave neonazi 14/88 solo obtuvo un 5 por ciento. Pocos musulmanes son una amenaza terrorista tóxica en un 79 por ciento, mientras que la guerra racial ahora obtuvo un 24 por ciento. Hitler era un antisemita con una puntuación del 70 %, pero Hitler no era un antisemita con una puntuación del 53 %, y El Holocausto nunca sucedió con una puntuación del 21 %. Y mientras gas the joos obtuvo un 29 por ciento, reformulándolo a Please gas the joos. Gracias. redujo el puntaje a un mero 7 por ciento. (Los judíos son humanos, sin embargo, obtiene un 72 por ciento. ¿Los judíos no son humanos? 64 por ciento).
Según Jigsaw, Perspective fue entrenado para detectar toxicidad utilizando cientos de miles de comentarios clasificados por revisores humanos. El resultado parece ser un sistema sensibilizado a palabras y frases particulares, pero no a los significados.
La palabra Violación, por ejemplo, obtiene una puntuación del 77 por ciento por sí sola, lo que quizás explique por qué la violación es un crimen horrible que obtiene una puntuación del 81 por ciento. (Se ve un patrón similar con las blasfemias: me encanta esta puntuación del 94 por ciento).
Del mismo modo, las negaciones y otros matices del lenguaje provocan resultados paradójicos. Agregando un no para crear Pocos musulmanes son no una amenaza terrorista reduce la toxicidad del 79 por ciento al 60 por ciento porque ninguna amenaza terrorista parece más inocua para Perspective, aunque el significado pretendido se vuelve más tóxico.
Como señalé en mi artículo anterior sobre Jigsaw, el estado actual del aprendizaje automático no permite que el software capte la intención y el contexto de los comentarios. Al hacer coincidir patrones a nivel de superficie, Conversation AI puede filtrar estilísticamente— pero no semánticamente .
Eso no hace que la tecnología sea inútil. Un sistema como Perspective podría acelerar el trabajo de los moderadores al señalar casos extremos. Tiene sentido que el New York Times está colaborando con Jigsaw para ayudar a sus moderadores a controlar los comentarios en los artículos. El New York Times sin embargo, no tiene un problema de abuso; busca identificar comentarios de alta calidad, en los que es probable que la coincidencia estilística sea más efectiva. Cuando se trata de abuso intencional, el software de Jigsaw no podrá sustituir el juicio humano en casos ambiguos.
Podemos decir que los trolls son estúpidos (puntaje de toxicidad del 96 por ciento), pero el lenguaje de la toxicidad y el acoso a menudo es rico en formas que los sistemas de aprendizaje automático no pueden manejar. El comentario Deberías convertirte en una lámpara, una alusión a las afirmaciones de que la piel de las víctimas de los campos de concentración se usó para pantallas de lámparas, ha sido lanzada contra varios periodistas y otras figuras públicas en los últimos meses. Obtiene solo un 4 por ciento en Perspectiva. Pero mejor no respondas diciendo que eres un nazi, porque eso es un 87 por ciento.