Bienvenido al ciclo interminable de censura y errores de TikTok

Sra. Tecnología | Envato

Ziggi Tyler es parte del Creator Marketplace de TikTok, una plataforma privada donde las marcas pueden conectarse con los principales creadores de la aplicación. Y la semana pasada, notó algo bastante inquietante sobre cómo las biografías de los creadores se moderaban automáticamente.

Cuando trató de ingresar ciertas frases en su biografía, algunas de ellas (las vidas de los negros importan, el apoyo a los negros, el apoyo a las voces de los negros y el apoyo al éxito de los negros) se marcaron como contenido inapropiado. Pero las versiones en blanco de las mismas frases eran aceptables.

Si entro en Creator Marketplace y pongo 'apoyar la supremacía blanca' y presiono aceptar, está bien, dijo. en un video de TikTok , de pie frente a lo que dijo que era una captura de video de él haciendo exactamente eso en su propio teléfono. Para aparecer en el mercado, tuvo que borrar lo que había escrito.

Historia relacionada

TikTok cambió la forma de la cara de algunas personas sin preguntar

Los usuarios notaron lo que parecía ser un filtro de belleza que no habían solicitado y que no podían apagar.

En un video de seguimiento , Tyler mostró las frases I am a neon and I am a antisemetic siendo aceptado, mientras que I am a black man fue marcado. La historia explotó, impulsada en parte por una audiencia que ya estaba frustrada por la forma en que se trata a los creadores negros en TikTok. En un comentario a Insider , un portavoz de la compañía se disculpó por el error significativo y dijo que lo que Tyler estaba viendo era el resultado de un filtro automático configurado para bloquear palabras asociadas con el discurso de odio. El sistema, dijo, se configuró erróneamente para marcar frases sin respetar el orden de las palabras. La compañía le dijo a recode que este error en particular provino de la inclusión de las palabras Black y audiencia, porque su detección de discurso de odio detectó el dado en la audiencia y marcó la combinación como inapropiada.

Hacerse público, volverse viral

Está lejos de ser el único incidente de este tipo que tuvo lugar en la plataforma. Hace unas semanas, TikTok aplicado erróneamente lo que parecía ser un filtro de belleza obligatorio que creó una mandíbula más delgada para algunos usuarios de Android.

Mientras tanto, en abril, un creador de TikTok notó que la nueva función de subtítulos automáticos de la plataforma estaba bloqueando la frase Mujeres asiáticas. Y a principios de 2021, los creadores intersexuales descubrieron que el hashtag #intersex ya no se podía encontrar en la aplicación.

Todos estos son ejemplos de un patrón que se repite en TikTok: primero, un creador nota un problema extraño y potencialmente dañino con la moderación o el algoritmo de la plataforma, que a menudo afecta de manera desproporcionada a los grupos marginados. Luego hacen un video sobre lo que está pasando, y ese video obtiene muchas vistas. Eventualmente, tal vez, un periodista se interese en lo que está pasando, le pida a la compañía que explique y el problema se solucione. TikTok luego lanza un comunicado diciendo que el problema fue el resultado de un error y enfatiza el trabajo que realizan para apoyar a los creadores y las causas afectadas.

No es necesariamente una sorpresa que estos videos sean noticia. La gente hace sus videos porque funcionan. Obtener vistas ha sido una de las estrategias más efectivas para presionar a una gran plataforma para que arregle algo durante años. Tiktok, Twitter y Facebook han facilitado que los usuarios denuncien abusos y violaciones de reglas por parte de otros usuarios. Pero cuando estas empresas parecen estar incumpliendo sus propias políticas, las personas a menudo descubren que el mejor camino a seguir es simplemente intentar publicar sobre ello en la plataforma misma, con la esperanza de volverse viral y llamar la atención que conduzca a algún tipo de resolución. Los dos videos de Tyler en las biografías de Marketplace, por ejemplo, tienen cada uno más de 1 millón de visitas.

“El contenido se marca porque es alguien de un grupo marginado que habla sobre sus experiencias con el racismo. El discurso de odio y hablar de discurso de odio puede parecerse mucho a un algoritmo.

Casey Fiesler, Universidad de Colorado, Boulder

Probablemente me etiqueten en algo una vez a la semana, dice Casey Fiesler, profesor asistente en la Universidad de Colorado, Boulder, que estudia ética tecnológica y comunidades en línea. Ella está activa en TikTok, con más de 50,000 seguidores, pero aunque no todo lo que ve se siente como una preocupación legítima, dice que el desfile regular de problemas de la aplicación es real. TikTok ha tenido varios errores de este tipo en los últimos meses, todos los cuales han afectado de manera desproporcionada a los grupos marginados en la plataforma.

Revisión de tecnología del MIT ha preguntado a TikTok sobre cada uno de estos ejemplos recientes, y las respuestas son similares: después de investigar, TikTok descubre que el problema se creó por error, enfatiza que el contenido bloqueado en cuestión no infringe sus políticas y enlaza para apoyar a la empresa. da tales grupos.

La pregunta es si ese ciclo (algún error técnico o de política, una respuesta viral y una disculpa) se puede cambiar.

Solucionar problemas antes de que surjan

Hay dos tipos de daños de esta moderación de contenido probablemente algorítmica que la gente está observando, dice Fiesler. Uno son los falsos negativos. La gente dice, '¿por qué hay tanto discurso de odio en esta plataforma y por qué no se elimina?'

El otro es un falso positivo. Su contenido se marca porque es alguien de un grupo marginado que habla sobre sus experiencias con el racismo, dice. El discurso de odio y hablar de discurso de odio puede parecerse mucho a un algoritmo.

Ambas categorías, señaló, dañan a las mismas personas: aquellos que son objeto de abuso de manera desproporcionada terminan siendo censurados algorítmicamente por hablar sobre ello.

de TikTok misteriosos algoritmos de recomendación son parte de su éxito —pero sus límites poco claros y en constante cambio ya están teniendo un efecto escalofriante en algunos usuarios. Fiesler señala que muchos creadores de TikTok autocensuran palabras en la plataforma para evitar generar una revisión. Y aunque no está segura de cuánto está logrando esta táctica, Fielser también ha comenzado a hacerlo ella misma, por si acaso. Las prohibiciones de cuentas, los misterios algorítmicos y las extrañas decisiones de moderación son una parte constante de la conversación en la aplicación.

Historia relacionada

Cómo Facebook se volvió adicto a difundir información errónea

Los algoritmos de inteligencia artificial de la compañía le dieron un hábito insaciable de mentiras y discursos de odio. Ahora el hombre que los construyó no puede solucionar el problema.

Peor aún, muchos de estos errores, argumentó Fiesler, serían fáciles de predecir si las empresas simplemente pensaran más en cómo los diferentes usuarios interactuarían realmente con su aplicación. El error del discurso de odio encontrado por Tyler sería difícil de pasar por alto si la compañía lo probara en el lenguaje que los creadores negros realmente usan para describirse a sí mismos, por ejemplo.

Obtener la moderación correcta es complejo, dice Feisler, pero eso no excusa esta repetición constante.

A menudo simpatizo más con los desafíos de estas cosas que la mayoría de la gente, dice ella. Pero incluso yo estoy como, '¿en serio?' En algún momento hay patrones, y debes saber qué buscar.

Le pregunté a Fiesler si algo podría ralentizar este ciclo, incluso si es imposible resolverlo por completo en este momento. Parte de la respuesta es una de las historias más antiguas de la tecnología: contratar y escuchar a personas de diversos orígenes.

Pero, dice, una mayor transparencia también tiene que ser parte de la solución. Fiesler no puede decir exactamente por qué el detector de discursos de odio de TikTok salió tan mal la semana pasada porque la aplicación no ha publicado mucha información sobre cómo funciona, ni a investigadores como ella, ni a los usuarios cuyo contenido se elimina o suprime de forma automática. procesos que, según demuestra la historia, pueden salir mal fácilmente. Como periodista, cuando le pedí a TikTok (y en otros momentos, a otras plataformas) explicaciones más detalladas sobre por qué sucedió algo que ellos llaman un error y qué están haciendo para evitar que vuelva a ocurrir en el futuro, el la respuesta es breve, insatisfactoria o la empresa se niega a comentar el expediente por completo.

Si los creadores están constantemente marcando cosas de manera inapropiada, entonces debe haber procesos de apelación realmente fáciles, dice ella.

Mientras tanto: el ciclo continuará.

esconder