Los investigadores luchan por replicar los estudios de IA

Categoría: Inteligencia artificial Al corriente Feb 16

El código y los datos faltantes dificultan la comparación del trabajo de aprendizaje automático, y eso puede estar perjudicando el progreso.

El problema: Ciencias informes que de una muestra de 400 documentos en las principales conferencias de IA en los últimos años, solo el 6 por ciento de los presentadores compartió el código. Solo un tercio compartió datos y un poco más de la mitad compartió resúmenes de sus algoritmos, conocidos como pseudocódigo.

Por qué importa: Sin acceso a esa información, es difícil reproducir los hallazgos de un estudio. Eso hace que sea casi imposible comparar las herramientas desarrolladas recientemente con las existentes, por lo que es difícil para los investigadores saber en qué dirección impulsar la investigación futura.

Cómo resolverlo: A veces, la falta de participación puede ser comprensible, por ejemplo, si la propiedad intelectual es propiedad de una empresa privada. Pero parece haber una cultura más extendida de mantener los detalles en secreto. Algunas reuniones y diarios animan ahora a compartir; tal vez más debería seguir.