Si tan solo la IA pudiera salvarnos de nosotros mismos

Los humanos han roto Internet. El acoso cibernético, el acoso, la vergüenza social y la pura incomodidad plagan sitios como Twitter y Reddit, especialmente si atraes la atención equivocada. Considera el camino Cazafantasmas estrella Leslie Jones y ejecutivo de relaciones públicas justine sacco se convirtieron en blanco de abusos masivos.

Las empresas que administran servicios en línea generalmente se encuentran atrapadas entre cargos de indiferencia al acoso y supresión de la libertad de expresión. Pero ahora Google cree que puede usar inteligencia artificial para disminuir esta tragedia de los bienes comunes digitales. (Divulgación: trabajé para Google en la década de 2000). Una incubadora de tecnología en la compañía, llamada Jigsaw, anteriormente conocida como Google Ideas, dice que tiene la intención de detectar y eliminar el acoso digital con un programa automatizado llamado Conversation AI. Como presidente de Jigsaw, Jared Cohen, dijo cableado , Quiero usar la mejor tecnología que tenemos a nuestra disposición para comenzar a enfrentarnos al troleo y otras tácticas nefastas que otorgan a las voces hostiles un peso desproporcionado, [y] hacer todo lo posible para nivelar el campo de juego.

Esta historia fue parte de nuestra edición de enero de 2017

• Ver el resto del número
• Suscribir

Es valiente por parte de Google asumir esto, y es diferente de algunos de los trabajos anteriores de Jigsaw. Eso ha incluido Project Shield, que protege sitios de noticias y sitios que promueven la libertad de expresión contra ataques de denegación de servicio. Otro esfuerzo de Jigsaw, Password Alert, es una extensión de Chrome que protege contra los ataques de phishing. Esos fueron principalmente desafíos técnicos. Pero luchar contra los trolls y las turbas en línea también es un problema sociológico.

Cosa revisada

• Charla con IA

  del rompecabezas de Google

Conversation AI es una rama de uno de los proyectos más exitosos de Google, Google Brain. Ha ayudado a revolucionar el campo del aprendizaje automático a través de redes neuronales a gran escala y le ha dado a Google ventajas como un software que es más hábil que los humanos para reconocer imágenes. Pero Conversation AI no podrá derrotar el abuso en línea. Aunque el objetivo declarado de Jigsaw es luchar contra el auge de las turbas en línea , el programa en sí es un proyecto mucho más modesto y, por lo tanto, más plausible. Conversation AI optimizará principalmente la moderación de la comunidad que hoy en día realizan los humanos. Entonces, incluso si no puede neutralizar el peor comportamiento en línea, podría fomentar más y mejor discurso en algunos sitios.

Detección de alusiones

Jigsaw está iniciando Conversation AI en el New York Times , donde se implementará en unos meses para ayudar a la empresa a administrar sus comentarios en línea. Actualmente, los moderadores humanos revisan casi todos los comentarios publicados en el sitio. En este momento, Conversation AI está leyendo 18 millones de ellos, aprendiendo a detectar cada categoría individual de comentarios que se rechazan: insustanciales, fuera de tema, spam, incoherentes, incendiarios, obscenos, ataques al comentarista, ataque al autor, ataque al editor.

El Veces El objetivo de no es necesariamente reducir el abuso en sus comentarios, un problema que ya considera bajo control. En cambio, espera reducir la carga de trabajo de los moderadores humanos. Nunca esperamos tener un sistema completamente automatizado, Erica Greene, gerente de ingeniería de la New York Times equipo de la comunidad, me dijo. Veces El editor de la comunidad Bassey Etim estima que entre el 50 y el 80 por ciento de los comentarios podrían moderarse automáticamente, liberando a los empleados para que dediquen sus esfuerzos a crear contenido más atractivo. desde las secciones de comentarios del artículo.

El New York Times El sitio plantea problemas muy diferentes a los de Twitter y Reddit en tiempo real. Y dadas las limitaciones del aprendizaje automático, tal como existe hoy en día, Conversation AI no puede luchar contra el abuso en los espacios abiertos de Internet. A pesar de todos los deslumbrantes logros del aprendizaje automático, todavía no ha descifrado el lenguaje humano, donde los patrones como los que puede encontrar en Go o las imágenes resultan diabólicamente esquivos.

Ilustraciones de Erik Carter

El problema lingüístico en la detección del abuso es el contexto. El análisis de comentarios de Conversation AI no modela el flujo completo de una discusión; compara comentarios individuales con modelos aprendidos de lo que constituyen buenos o malos comentarios. Por ejemplo, los comentarios sobre la New York Times El sitio puede considerarse aceptable si tiende a incluir palabras, frases y otras características comunes. Pero Greene dice que el sistema de Google frecuentemente marcaba los comentarios sobre artículos sobre Donald Trump como abusivos porque lo citaban usando palabras que harían que un comentario fuera rechazado si vinieran de un lector. Para este tipo de artículos, el Veces simplemente desactivará la moderación automática.

Entonces, es imposible ver que a Conversation AI le vaya bien en un sitio abierto como Twitter. ¿Cómo detectaría las alusiones al Holocausto en abusivos tuits enviados al periodista judío Marc Daalder : ¿Eres tú si Trump gana, con una imagen de una pantalla de lámpara, y tú perteneces aquí, con una imagen de un horno tostador? La detección del abuso se basa en el conocimiento histórico y el contexto cultural que un algoritmo de aprendizaje automático podría detectar solo si se hubiera entrenado en ejemplos muy similares. Incluso entonces, ¿cómo sería capaz de diferenciar entre el abuso y la misma imagen con Esto es lo que compro si gana Trump? El nivel de conocimiento semántico y práctico requerido está más allá de lo que actualmente pretende el aprendizaje automático.

En consecuencia, un troll de Twitter dedicado sin duda encontrará una forma novedosa de expresar abuso que evade un sistema como Conversation AI. Al bloquear algunos comentarios, el aprendizaje automático podría hacer un trabajo decente al lograr que los comentaristas dejen de llamarse casualmente maricas y homosexuales, si ese es el objetivo. Pero el aprendizaje automático no podrá frustrar a una persona empeñada en insinuar que alguien es queer.

En otras palabras, Conversation AI permitirá que las tareas de moderación se ejecuten de manera más eficiente en comunidades que ya tienden a comportarse bastante bien. Es incapaz de erradicar lo peor de los abusos de los que escuchamos, que con frecuencia aparecen en sitios con estándares mínimos de moderación. Vigilancia del abuso en Twitter y Reddit es imposible sin alterar fundamentalmente la naturaleza de esas plataformas.

Barrios cerrados

Vigilar el abuso en Twitter y Reddit es imposible sin alterar fundamentalmente la naturaleza de esas plataformas.

El éxito de Facebook es un recordatorio de que la mayoría de las personas, y ciertamente la mayoría de las empresas, prefieren un entorno relativamente protegido y controlado a uno en el que los extraños puedan entrometerse en los negocios de otros y comenzar peleas. Entonces, si Conversation AI o herramientas similares hacen que sea más fácil y eficiente ejercer dicho control, es un recordatorio de que resolver el problema del abuso, ya sea a través de medios humanos o automatizados, requiere alejarse de la inclusión máxima como el ideal más alto en línea. Incluso las comunidades aparentemente abiertas, como StackExchange y MetaFilter, requieren la intervención constante de un moderador y vigilancia comunitaria. Las comunidades verdaderamente anárquicas, como Twitter, 4chan y algunos canales en Reddit, resultan ser las excepciones en línea, no la regla. Las comunidades anárquicas tampoco son generadoras de dinero. Twitter ha tenido problemas para atraer a un comprador, en parte debido a su reputación de contenido abusivo, mientras que Reddit ha tenido un alto grado de rotación de personal y dificultades para monetizar. La naturaleza del Lejano Oeste de esos sitios solo se hará más evidente si herramientas como Conversation AI hacen que los sitios moderados funcionen aún mejor.

Vale la pena señalar una gran desventaja potencial. Debido a que Conversation AI se está capacitando para aprobar contenido que se ajusta a ciertas pautas léxicas, gramaticales y estilísticas, no solo filtrará el contenido abusivo. También podría tender a golpear diverso contenido. Eso plantea dudas sobre qué podrían hacer los gobiernos con mentalidad de censura. Tal como el Veces cura sus comunidades, también los gobiernos de Turquía y China pueden curar las suyas. Si bien los esfuerzos de Jigsaw como Project Shield tienen como objetivo proporcionar defensas para sitios web políticamente sensibles, Conversation AI facilita el filtrado de discursos no deseados, pero la pregunta es, ¿no deseado por quién? No hay ninguna etiqueta en la caja que diga, Use only to prevent abuse.

David Auerbach está escribiendo un libro sobre lenguajes humanos e informáticos y su convergencia, que será publicado por Pantheon. Trabajó durante 11 años como ingeniero de software en Google y Microsoft, principalmente en infraestructura de servidores.

esconder