Una conferencia líder en IA está tratando de solucionar la crisis de reproducibilidad del campo

Categoría: Inteligencia artificial Al corriente 09 de abril

La semana pasada, los organizadores de la Conferencia de sistemas de procesamiento de información neuronal (NeurIPS), una de las conferencias anuales de investigación de IA más grandes del mundo, actualizado su política para las presentaciones en papel requiere lo que llaman una lista de verificación de reproducibilidad. Es un pequeño cambio en una lucha más grande para frenar la creciente crisis de reproducibilidad en la ciencia, donde otros investigadores no replican con éxito una cantidad desconcertante de hallazgos de investigación, lo que genera dudas sobre la validez de los hallazgos iniciales.

En febrero, un estadístico de la Universidad de Rice advirtió que es probable que las técnicas de aprendizaje automático estén alimentando esa crisis porque los resultados que producen son difíciles de auditar. Es un problema preocupante ya que el aprendizaje automático se aplica cada vez más en áreas importantes como la atención médica y la investigación de medicamentos.

La lista de verificación de reproducibilidad de NeurIPS intenta abordar el problema. Entre otras cosas, los investigadores deben proporcionar una descripción clara de su algoritmo; una descripción completa de su proceso de recopilación de datos; un enlace a cualquier entorno de simulación que usaron durante el entrenamiento; y un recorrido completo de qué datos guardaron, desecharon y por qué. La idea es crear un nuevo estándar de transparencia para que los investigadores muestren cómo llegaron a sus conclusiones.

Como la conferencia de IA más importante del mundo, escribió Jack Clark, director de políticas de la organización sin fines de lucro OpenAI, en su boletín semanal Import AI, la política de NeurIPS 2019 tendrá [un] efecto en cadena en [el] ecosistema de IA más amplio.

Esta historia apareció originalmente en nuestro boletín de inteligencia artificial nominado por Webby, The Algorithm. Para recibirlo directamente en su bandeja de entrada, regístrese aquí de forma gratuita.