Cómo utiliza Facebook el aprendizaje automático para detectar cuentas falsas

Una cuenta de Facebook falsa Sra. tecnología

En 2019, Facebook eliminó en promedio cerca de 2 mil millones cuentas falsas por trimestre. Los estafadores usan estas cuentas falsas para difundir spam, enlaces de phishing o malware. Es un negocio lucrativo que puede ser devastador para cualquier usuario inocente al que atrape.

Facebook ahora está publicando detalles sobre el sistema de aprendizaje automático que utiliza para enfrentar este desafío. El gigante tecnológico distingue entre dos tipos de cuentas falsas. En primer lugar, están las cuentas de usuarios mal clasificados, perfiles personales de empresas o mascotas que pretenden ser páginas. Estos son relativamente sencillos de manejar: simplemente se convierten en páginas. La violación de cuentas, por otro lado, es más grave. Estos son perfiles personales que participan en estafas y envío de correo no deseado o violan los términos de servicio de la plataforma. Las cuentas infractoras deben eliminarse lo más rápido posible sin lanzar una red demasiado amplia y enganchar cuentas reales también.

Para hacer esto, Facebook utiliza reglas codificadas a mano y aprendizaje automático para bloquear una cuenta falsa antes de que se cree o antes de que se active. En otras palabras, antes de que pueda dañar a los usuarios reales. La etapa final es después de que se activa una cuenta falsa. Aquí es cuando la detección se vuelve mucho más complicada y donde entra en juego el nuevo sistema de aprendizaje automático, conocido como Clasificación profunda de entidades (DEC).

Ir a fondo

DEC aprende a diferenciar usuarios falsos y reales por sus patrones de conexión a través de la red. Llama a estas características profundas e incluyen cosas como la edad promedio o la distribución de género de los amigos del usuario. Facebook utiliza más de 20 000 características profundas para caracterizar cada cuenta, proporcionando una instantánea de cómo se comporta cada perfil para dificultar que los atacantes jueguen con el sistema cambiando de táctica.

El sistema comienza utilizando una gran cantidad de etiquetas generadas por máquinas de baja precisión. Estos se generan a través de una combinación de reglas y otros modelos de aprendizaje automático que estiman si los usuarios son reales o falsos. Una vez que esos datos se utilizan para entrenar una red neuronal, el modelo se ajusta con un pequeño lote de datos etiquetados a mano de alta precisión, generados por personas de todo el mundo que conocen las normas culturales locales.

El sistema de clasificación final puede identificar uno de los cuatro tipos de perfiles falsos: cuentas ilegítimas que no representan a la persona, cuentas comprometidas de usuarios reales que han sido tomadas por atacantes, spammers que envían repetidamente mensajes que generan ingresos y estafadores que manipulan a los usuarios para divulgar información personal. Desde que implementó DEC, dice Facebook, ha mantenido el volumen de cuentas falsas en la plataforma en alrededor del 5% de los usuarios activos mensuales.

Los detalles de los esfuerzos de limpieza de Facebook surgen en medio de preocupaciones sobre la manipulación en las próximas elecciones presidenciales de EE. UU., especialmente en torno a las falsificaciones profundas. En diciembre, el New York Times reportado una campaña de desinformación coordinada que usa deepfakes para generar cuentas falsas en masa con imágenes de perfil convincentes.

Salvaguardar la elección

El equipo de Facebook dijo que el momento de su lanzamiento fue solo una coincidencia. Se trata simplemente de detectar violaciones en general; no está específicamente dirigido a ningún tipo de tema electoral, dice Daniel Bernhardt, gerente de ingeniería del equipo de Integridad de la comunidad de Facebook. Pero el DEC sería complementario a los otros esfuerzos de la plataforma para tomar medidas drásticas contra la manipulación electoral. Debido a que el sistema se basa en características profundas para categorizar cada perfil, será resistente a ser engañado por imágenes de perfil falsas, por ejemplo.

Aviv Ovadya, quien fundó la organización sin fines de lucro Thoughtful Technology Project y estudia el diseño y la gobernanza de la plataforma, dice que el esfuerzo de Facebook por ser más transparente con sus procedimientos de limpieza es encomiable. Puede ser realmente útil y poderoso hablar detenidamente sobre las decisiones arquitectónicas, y las formas en que funcionan los sistemas de seguridad, que otras empresas pueden emular, dice. Debido a que las empresas como Facebook tienen significativamente más recursos para invertir que las empresas más pequeñas, es útil compartir este conocimiento.

Pero los esfuerzos de limpieza también tienen un largo camino por recorrer. Con 2500 millones de usuarios activos mensuales, el 5 % sigue siendo 125 millones de cuentas falsas. El aprendizaje automático también llegará solo hasta cierto punto: no importa con cuántos datos se entrene un modelo, nunca detectará todas las cuentas malas con precisión perfecta. Es probable que la plataforma deba recurrir a otras combinaciones de humanos y máquinas para mejorar.

Actualizar: Una versión anterior de este artículo hacía referencia a números obsoletos sobre el impacto del sistema DEC de Facebook. Se han actualizado para reflejar la información más reciente.

esconder