Incluso la mejor IA para detectar noticias falsas sigue siendo terrible

Ilustración de robot confundido sosteniendo un periódico Sra. tecnología

Cuando el director ejecutivo de Facebook, Mark Zuckerberg, prometió al Congreso que la IA ayudaría a resolver el problema de las noticias falsas, reveló poco en cuanto a cómo . Una nueva investigación nos acerca un paso más a descubrirlo.

En un extenso estudio que se presentará en una conferencia a finales de este mes, investigadores del MIT, el Instituto de Investigación de Computación de Qatar (QCRI) y la Universidad de Sofía en Bulgaria probaron más de 900 posibles variables para predecir la confiabilidad de un medio de comunicación, probablemente el conjunto más grande jamás propuesto. .

Luego, los investigadores entrenaron un modelo de aprendizaje automático en diferentes combinaciones de las variables para ver cuál produciría los resultados más precisos. El mejor modelo etiquetó con precisión los medios de comunicación con factualidad baja, media o alta solo el 65 % de las veces.

Esto está lejos de ser un éxito rotundo. Pero los experimentos revelan cosas importantes sobre lo que se necesitaría para subcontratar nuestra verificación de hechos a una máquina. Preslav Nakov, científico principal de QCRI y uno de los investigadores del estudio, dice que es optimista de que las fuentes de noticias falsas puedan detectarse automáticamente de esta manera.

Pero eso no significa que será fácil.

Método a la locura

En la explosión de la investigación sobre la detección de noticias falsas desde la campaña presidencial de EE. UU. de 2016, han surgido cuatro enfoques principales: verificación de afirmaciones individuales, detección de artículos falsos, persecución de trolls y medición de la confiabilidad de las fuentes de noticias. Nakov y el resto del equipo optaron por centrarse en el cuarto porque se acerca más al origen de la desinformación. También ha sido el menos estudiado.

Estudios anteriores intentaron caracterizar la confiabilidad de una fuente de noticias por cuántas de sus afirmaciones coincidían o estaban en conflicto con afirmaciones que ya habían sido verificadas. En otras palabras, una máquina compararía el historial de afirmaciones fácticas realizadas por un medio de comunicación con las conclusiones de sitios como Snopes o PolitiFact. El mecanismo, sin embargo, se basa en la verificación humana de hechos y evalúa la historia del medio, no el presente inmediato. Cuando las últimas afirmaciones se han verificado manualmente, ya es demasiado tarde, dice Nakov.

Para detectar una fuente de noticias falsas casi en tiempo real, Nakov y sus colaboradores entrenaron su sistema utilizando variables que podrían tabularse independientemente de los verificadores de hechos humanos. Estos incluyeron análisis del contenido, como la estructura de las oraciones de los titulares y la diversidad de palabras en los artículos; indicadores generales del sitio, como la estructura de la URL y el tráfico del sitio web; y medidas de la influencia del medio, como su participación en las redes sociales y la página de Wikipedia, si corresponde.

Para seleccionar las variables, los investigadores se basaron tanto en investigaciones anteriores (por ejemplo, estudios anteriores han demostrado que los artículos de noticias falsos tienden a tener opciones de palabras repetitivas) como en nuevas hipótesis.

Al probar diferentes combinaciones de variables, los investigadores pudieron identificar los mejores predictores de la confiabilidad de una fuente de noticias. Si un medio tenía una página de Wikipedia, por ejemplo, tenía un poder predictivo descomunal; el tráfico de la salida, en cambio, no tenía ninguno. El ejercicio ayudó a los investigadores a determinar variables adicionales que podrían explorar en el futuro.

Datos hambrientos

Pero hay otro obstáculo: la escasez de datos de entrenamiento, lo que Nakov llama la verdad básica.

Para la mayoría de las tareas de aprendizaje automático, es bastante simple anotar los datos de entrenamiento. Si desea crear un sistema que detecte artículos sobre deportes, puede etiquetar fácilmente los artículos como relacionados o no relacionados con ese tema. A continuación, introduce el conjunto de datos en una máquina para que pueda aprender las características de un artículo deportivo.

Pero etiquetar a los medios de comunicación con alta o baja factualidad es mucho más delicado. Debe ser realizado por periodistas profesionales que sigan metodologías rigurosas, y es un proceso que requiere mucho tiempo. Como resultado, es un desafío construir un corpus sólido de datos de entrenamiento, lo que en parte explica por qué la precisión del modelo del estudio es tan baja. La forma más obvia de aumentar la precisión es obtener más datos de entrenamiento, dice Nakov.

Actualmente, Media Bias Fact Check, la organización elegida para proporcionar la verdad básica para la investigación, ha evaluado 2500 fuentes de medios, una escasez en términos de aprendizaje automático. Pero Nakov dice que la base de datos de la organización está creciendo rápidamente. Además de obtener más datos de entrenamiento, los investigadores también buscan mejorar el rendimiento de su modelo con más variables, algunas de las cuales describen la estructura del sitio web, si tiene información de contacto y sus patrones de publicación y eliminación de contenido.

También se encuentran en las primeras etapas de la construcción de una plataforma de agregación de noticias que brinda a los lectores pistas importantes sobre la confiabilidad de cada historia y fuente compartida.

A pesar del trabajo que queda por hacer, Nakov cree que dicha tecnología puede ayudar a resolver la epidemia de noticias falsas con relativa rapidez si plataformas como Facebook y Twitter se esfuerzan con seriedad. Es como luchar contra el spam, escribió en un mensaje de Skype. Nunca detendremos las noticias falsas por completo, pero podemos controlarlas.

esconder