Algoritmo de aprendizaje automático puede mostrar si los secretos de estado están correctamente clasificados

El Departamento de Estado de los Estados Unidos genera unos dos mil millones de correos electrónicos cada año. Una fracción significativa de estos contienen información confidencial o secreta y, por lo tanto, deben clasificarse, un proceso que lleva mucho tiempo y es costoso. Solo en 2015, gastó $16 mil millones para proteger información clasificada.

Pero la fiabilidad de este proceso de clasificación no está clara. Nadie sabe si las reglas para clasificar la información se aplican de manera consistente y confiable. De hecho, existe una disputa significativa sobre lo que constituye información que debe clasificarse.

Además, es fácil imaginar que el error humano juega un papel considerable en la clasificación errónea de los secretos oficiales. Pero nadie sabe cuán significativos pueden ser estos errores.

Hoy eso cambia gracias al trabajo de Renato Rocha Souza en el grupo de expertos brasileño Fundação Getulio Vargas en Río de Janeiro y colegas de la Universidad de Columbia en Nueva York. Estos chicos han utilizado un algoritmo de aprendizaje automático para estudiar más de un millón de cables del Departamento de Estado desclasificados de la década de 1970.

Su trabajo proporciona una visión sin precedentes de la naturaleza de los secretos oficiales, cómo los humanos aplican las reglas y con qué frecuencia los errores se filtran en el proceso para revelar información confidencial u ocultar detalles inocuos. Los algoritmos también revelan patrones sospechosos en la forma en que se pierden los cables.

El equipo comenzó con un corpus de un millón de cables, que descargaron de los Archivos Nacionales de EE. UU. en forma de archivos XML. Cada cable es un mensaje de texto intercambiado entre el Departamento de Estado y una misión diplomática en un país extranjero, como una embajada o un consulado.

Los cables están etiquetados como secretos, confidenciales, de uso oficial limitado o no clasificados. La información secreta se define como la que tiene el potencial de dañar seriamente la seguridad nacional, la información confidencial se define como la que tiene el potencial de causar daño pero no un daño grave. La categoría de uso oficial limitado no estaba definida en la década de 1970 e incluso hoy en día sigue siendo controvertida.

Los cables también contienen otra información. Cada mensaje tiene una fecha, un remitente y un destinatario, un asunto y, por supuesto, el texto del mensaje.

Souza y compañía utilizaron una variedad de enfoques de aprendizaje automático para determinar cómo estos factores se correlacionan con la etiqueta de clasificación. Y habiendo descubierto esta correlación, probaron el algoritmo para ver qué tan bien podía predecir si un cable determinado estaba clasificado o no.

Los resultados hacen una lectura interesante. Souza y compañía dicen que el mensaje en sí mismo es el mejor indicador de si un cable está clasificado. De todas las características, la frecuencia relativa de diferentes palabras en el cuerpo fue la más útil para identificar información confidencial, dicen. Los datos del remitente y el destinatario también son un buen indicador del nivel de sensibilidad, pero pueden llevar al algoritmo a clasificar muchos cables que no fueron clasificados como si lo fueran. En otras palabras, esto conduce a una alta tasa de falsos positivos.

Cuando el algoritmo de aprendizaje automático combina los diversos tipos de metadatos en sus decisiones, puede detectar alrededor del 90 por ciento de los cables clasificados, con una tasa de falsos positivos de solo el 11 por ciento. Y Souza y compañía dicen que debería ser posible hacerlo mejor si se incluyeran los cables que aún están clasificados.

Los falsos positivos y los falsos negativos son en sí mismos interesantes. Estos son cables que la máquina predijo que serían clasificados pero no lo fueron y viceversa. En muchos casos, la máquina reveló cables que habían sido mal clasificados por humanos. Un ejemplo es un cable sobre la sensibilidad del gobierno japonés con respecto a las inspecciones estadounidenses de sus instalaciones nucleares. Este cable no estaba clasificado, pero debería haberlo sido ya que el texto revela que originalmente era confidencial, dicen los investigadores.

Una limitación de los datos es que se han perdido muchos cables, aparentemente debido a problemas para convertirlos a un formato electrónico. Quizás el aspecto más interesante de este trabajo es que sugiere que estos mensajes pueden haberse perdido por otras razones.

Una pista es la velocidad a la que desaparecieron los mensajes, que difieren para los cables clasificados y no clasificados. Los mensajes electrónicos clasificados como 'secretos' tenían tres veces más probabilidades de perderse en comparación con los mensajes de uso oficial limitado y sin clasificar, dicen Souza y compañía.

Además, los metadatos asociados con los cables a menudo sobreviven cuando se pierde el mensaje electrónico. Cómo pudo haber sucedido esto es un rompecabezas.

Además, si los mensajes se perdieron cuando se convirtieron de un formato a otro, lo más probable es que desaparezcan cuando el Departamento de Estado instale su nuevo sistema de almacenamiento de datos. Es notable que la mayoría de estos cables [faltantes] no datan de cuando el Departamento de Estado instaló el sistema por primera vez, cuando uno podría esperar que se tratara de formas de resolución de problemas para transferir datos de manera confiable entre diferentes plataformas de hardware y software, dice el equipo.

El trabajo tiene implicaciones importantes para el equilibrio entre transparencia y secreto. Las máquinas claramente pueden ayudar a monitorear la práctica de clasificar datos. Pero no pueden hacer esto mejor en promedio que las bases de datos de las que aprenden. Si estos contienen errores, como claramente lo hacen los cables del Departamento de Estado, las máquinas inevitablemente quedarán paralizadas.

Pero una pregunta interesante es si los datos que revela este tipo de aprendizaje automático deben clasificarse en sí mismos si revelan patrones de comportamiento que podrían ser perjudiciales para el interés nacional. Por ejemplo, la tasa a la que la información confidencial se etiqueta erróneamente como no clasificada podría ser útil para una potencia extranjera que intente recopilar información clasificada de cables no clasificados.

Claramente hay más trabajo por hacer. Souza y compañía dicen que a pesar del enorme gasto del Departamento de Estado en proteger la información clasificada, hay poca o ninguna investigación publicada sobre la consistencia de la clasificación. Tampoco hay mucha comprensión de cuánto puede revelar este tipo de aprendizaje automático.

Tal vez todo este trabajo se esté haciendo a puerta cerrada. Por otro lado, quizás no.

Ref: arxiv.org/abs/1611.00356 : Uso de inteligencia artificial para identificar secretos de estado

esconder