Instagram está usando IA para evitar que las personas publiquen comentarios abusivos

Categoría: Inteligencia artificial Al corriente Jul 09

La plataforma de redes sociales marcará los comentarios posiblemente ofensivos antes de que se publiquen y le pedirá al autor que los reconsidere.

El contexto: El abuso en línea siempre ha sido un tema complicado debido a su escala y matiz. Lo que cuenta como digno de censura es una perpetual debate : filtre demasiado y atente contra la autoexpresión; filtra muy poco y crea un ambiente hostil. Agregue a eso la complejidad de los diferentes idiomas, culturas y normas, y el desafío se vuelve realmente difícil de manejar.

Desinteligencia artificial: Es por eso que las plataformas de redes sociales como Facebook han recurrido a la inteligencia artificial para ayudarlos a clasificar el gran volumen de publicaciones y comentarios. Pero el lenguaje siempre ha sido particularmente difícil de analizar para la IA: las cosas simples como los dobles sentidos, el sarcasmo o incluso las faltas de ortografía pueden hacer tropezar a un sistema y confundir su significado. Para sortear eso, Facebook emplea miles de moderadores de contenido para dar un paso adelante cuando sus algoritmos no logran emitir un juicio final. Sin embargo, las investigaciones han encontrado que esos trabajos a menudo son brutales y agotadores.

La solución de Instagram: Instagram, que es propiedad de Facebook, ahora está probando un nuevo enfoque. En lugar de confiar únicamente en sus algoritmos para censurar material ofensivo, también se basará en la autocensura de los usuarios. Mientras se publica un comentario, si el modelo de IA de la plataforma lo marca como dañino, el cartel verá una ventana emergente que preguntará ¿Está seguro de que desea publicar esto?

En las primeras pruebas, Instagram descubrió que la función animaba a muchas personas a rescindir sus comentarios, según el comunicado de ayer. anuncio de publicación de blog . Es una táctica inteligente tratar de aliviar parte de la carga de la moderación del contenido humano sin ser demasiado restrictivo.

Datos de entrenamiento: Esta no es la primera vez que Instagram usa IA para limpiar el lenguaje. En junio de 2017, también lanzado un filtro de comentarios ofensivos que usa aprendizaje automático para ocultar el abuso más obvio. Desde entonces, la plataforma ha seguido mejorando su modelo de aprendizaje automático, probablemente haciendo uso de los millones de puntos de datos generados por los usuarios cuando informaron comentarios en el pasado. La función más reciente también pide a los usuarios que notifiquen a Instagram si marcó su comentario como ofensivo por error, otro circuito de retroalimentación que podría generar datos de entrenamiento más útiles.

Para recibir más historias como esta directamente en su bandeja de entrada, suscríbase a nuestro boletín informativo de IA nominado por Webby, The Algorithm. Es gratis.