El algoritmo de Google para detectar discursos de odio tiene sesgos raciales

Categoría: Silicon Valley Al corriente 13 de agosto

Los sistemas de inteligencia artificial destinados a detectar contenido abusivo en línea tienen muchas más probabilidades de etiquetar los tweets como ofensivos si fueron publicados por personas que se identifican como afroamericanas.

Las noticias: Los investigadores construyeron dos sistemas de IA y los probó en un par de conjuntos de datos de más de 100,000 tweets que habían sido anotados por humanos con etiquetas como ofensivo, ninguno o discurso de odio. Uno de los algoritmos marcó incorrectamente el 46 % de los tuits inofensivos de autores afroamericanos como ofensivos. Las pruebas en conjuntos de datos más grandes, incluido uno compuesto por 5,4 millones de tuits, encontraron que las publicaciones de autores afroamericanos tenían 1,5 veces más probabilidades de ser etiquetadas como ofensivas. Cuando los investigadores luego probaron Google Perspectiva , una herramienta de inteligencia artificial que la compañía permite que cualquiera use para moderar discusiones en línea, encontraron sesgos raciales similares.

Un equilibrio difícil de alcanzar: Los tiroteos masivos perpetrados por supremacistas blancos en los EE. UU. y Nueva Zelanda han llevado a que los políticos hagan cada vez más llamados a las plataformas de redes sociales para hacer más para eliminar el discurso de odio. Estos estudios subrayan lo complicada que es una tarea. Si el lenguaje es ofensivo puede depender de quién lo dice y quién lo escucha. Por ejemplo, una persona negra que usa la palabra N es muy diferente de una persona blanca que la usa. Pero los sistemas de IA no entienden, y actualmente no pueden, entender ese matiz.

El riesgo: Al apresurarnos a usar software para eliminar automáticamente el lenguaje ofensivo, corremos el riesgo de silenciar las voces de las minorías. Moderar el contenido en línea es una trabajo traumático y difícil , por lo que las empresas tecnológicas están dispuestas a confiar en los sistemas de inteligencia artificial en lugar de en los seres humanos (también son mucho más baratos). Este estudio muestra los enormes riesgos inherentes a ese enfoque.

Regístrese aquí para recibir nuestro boletín diario The Download para obtener su dosis de las últimas noticias imprescindibles del mundo de la tecnología emergente.