211service.com
Los conjuntos de datos plagados de errores están distorsionando nuestro sentido de cuán buena es realmente la IA
Jeremy Lwanga/Unsplash
El Los 10 conjuntos de datos de IA más citados están plagados de errores de etiqueta, según un nuevo estudio del MIT , y está distorsionando nuestra comprensión del progreso del campo.
Columna vertebral de datos: Los conjuntos de datos son la columna vertebral de la investigación de IA, pero algunos son más críticos que otros. Hay un conjunto básico de ellos que los investigadores utilizan para evaluar los modelos de aprendizaje automático como una forma de rastrear cómo las capacidades de IA avanzan con el tiempo. Uno de los más conocidos es el conjunto de datos canónicos de reconocimiento de imágenes ImageNet, que inició la revolución moderna de la IA. También está MNIST, que compila imágenes de números escritos a mano entre 0 y 9. Otros conjuntos de datos prueban modelos entrenados para reconocer audio, texto y dibujos a mano.
Sí, pero: En los últimos años, los estudios han encontrado que estos conjuntos de datos pueden contener fallas graves. ImageNet, por ejemplo, contiene etiquetas racistas y sexistas así como fotos de rostros de personas obtenidos sin consentimiento . El último estudio ahora analiza otro problema: muchas de las etiquetas están completamente equivocadas. Un hongo se etiqueta como una cuchara, una rana se etiqueta como un gato y una nota alta de Ariana Grande se etiqueta como un silbato. El equipo de prueba de ImageNet tiene una tasa de error de etiqueta estimada del 5,8 %. Mientras tanto, el conjunto de prueba para QuickDraw, una compilación de dibujos a mano, tiene una tasa de error estimada del 10,1%.
¿Cómo se midió? Cada uno de los 10 conjuntos de datos utilizados para evaluar modelos tiene un conjunto de datos correspondiente que se utiliza para entrenarlos. Los investigadores, los estudiantes graduados del MIT Curtis G. Northcutt y Anish Athalye y el alumno Jonas Mueller, usaron los conjuntos de datos de entrenamiento para desarrollar un modelo de aprendizaje automático y luego lo usaron para predecir las etiquetas en los datos de prueba. Si el modelo no estaba de acuerdo con la etiqueta original, el punto de datos se marcaba para revisión manual. Se pidió a cinco revisores humanos en Amazon Mechanical Turk que votaran sobre qué etiqueta, la del modelo o la original, pensaban que era la correcta. Si la mayoría de los revisores humanos estaban de acuerdo con el modelo, la etiqueta original se contaba como un error y luego se corrigía.
¿Importa esto? Si. Los investigadores observaron 34 modelos cuyo rendimiento se había medido previamente con el conjunto de prueba de ImageNet. Luego volvieron a medir cada modelo con los aproximadamente 1500 ejemplos en los que se encontró que las etiquetas de datos eran incorrectas. Descubrieron que los modelos que no funcionaban tan bien en el modelo original incorrecto las etiquetas fueron algunos de los mejores después de que se corrigieran las etiquetas. En particular, los modelos más simples parecían funcionar mejor con los datos corregidos que los modelos más complicados que utilizan los gigantes tecnológicos como Google para el reconocimiento de imágenes y que se supone que son los mejores en el campo. En otras palabras, es posible que tengamos una idea inflada de cuán grandiosos son estos modelos complicados debido a datos de prueba defectuosos.
¿Ahora que? Northcutt alienta al campo de la IA a crear conjuntos de datos más limpios para evaluar modelos y rastrear el progreso del campo. También recomienda que los investigadores mejoren la higiene de sus datos cuando trabajen con sus propios datos. De lo contrario, dice, si tiene un conjunto de datos ruidoso y un montón de modelos que está probando, y los va a implementar en el mundo real, podría terminar seleccionando el modelo incorrecto. Con este fin, abrió el código el código usó en su estudio para corregir errores de etiquetas, que dice que ya está en uso en algunas de las principales empresas tecnológicas.