Demasiados investigadores de IA piensan que los problemas del mundo real no son relevantes

Sra. Tecnología | Getty

Es probable que cualquier investigador que se centre en aplicar el aprendizaje automático a problemas del mundo real haya recibido una respuesta como esta: los autores presentan una solución para un problema original y muy motivador, pero es una aplicación y la importancia parece limitada para el aprendizaje automático. comunidad.

Estas palabras provienen directamente de una revisión que recibí de un trabajo que envié a la Conferencia NeurIPS (Sistemas de Procesamiento de Información Neural) , un lugar privilegiado para la investigación del aprendizaje automático. He visto el estribillo una y otra vez en reseñas de artículos en los que mis coautores y yo presentamos un método motivado por una aplicación, y he escuchado historias similares de muchos otros.

Esto me hace preguntarme: si la comunidad siente que el objetivo de resolver problemas del mundo real de alto impacto con el aprendizaje automático tiene una importancia limitada, entonces, ¿qué estamos tratando de lograr?

El objetivo de la inteligencia artificial (pdf) es impulsar la frontera de la inteligencia artificial. En el campo del aprendizaje automático, un desarrollo novedoso generalmente significa un nuevo algoritmo o procedimiento o, en el caso del aprendizaje profundo, una nueva arquitectura de red. Como han señalado otros, este hiperenfoque en métodos novedosos conduce a una plaga de artículos que informan mejoras marginales o incrementales en conjuntos de datos de referencia y exhibir beca defectuosa (pdf) mientras los investigadores compiten para superar el clasificación .

Mientras tanto, muchos artículos que describen nuevas aplicaciones presentan tanto conceptos novedosos como resultados de alto impacto. Pero incluso una insinuación de la palabra aplicación parece estropear el artículo para los revisores. Como resultado, dicha investigación se margina en las principales conferencias. La única esperanza real de sus autores es que sus artículos sean aceptados en talleres, que rara vez reciben la misma atención de la comunidad.

Este es un problema porque el aprendizaje automático es muy prometedor para el avance de la salud, la agricultura, el descubrimiento científico y más. La primera imagen de un agujero negro fue producido utilizando el aprendizaje automático. El más exacto predicciones de estructuras de proteínas , un paso importante para el descubrimiento de fármacos, se realizan mediante el aprendizaje automático. Si otros en el campo hubieran priorizado las aplicaciones del mundo real, ¿qué otros descubrimientos innovadores habríamos hecho ahora?

Esta no es una nueva revelación. Para citar un artículo clásico titulado Aprendizaje automático que importa (pdf) , por el científico informático de la NASA Wagstaff izquierdo F : Gran parte de la investigación actual sobre aprendizaje automático ha perdido su conexión con problemas de importancia para el mundo más amplio de la ciencia y la sociedad. El mismo año en que Wagstaff publicó su artículo, una red neuronal convolucional llamada AlexNet ganó una competencia de alto perfil para el reconocimiento de imágenes centrada en el popular ImageNet conjunto de datos, lo que lleva a una explosión de interés en aprendizaje profundo . Desafortunadamente, la desconexión que describió parece haber empeorado aún más desde entonces.

las preguntas equivocadas

Marginar la investigación de aplicaciones tiene consecuencias reales. Conjuntos de datos de referencia, como ImageNet o COCO , han sido clave para avanzar en el aprendizaje automático. Permiten que los algoritmos se entrenen y se comparen con los mismos datos. Sin embargo, estos conjuntos de datos contienen sesgos que pueden integrarse en los modelos resultantes.

Más de la mitad de las imágenes en ImageNet (pdf) provienen de Estados Unidos y Gran Bretaña, por ejemplo. Ese desequilibrio lleva a los sistemas a clasificar incorrectamente las imágenes en categorías que se diferencian por geografía (pdf) . Conjuntos de datos faciales populares, como el Base de datos de rostros de AT&T , contienen principalmente sujetos masculinos de piel clara, lo que conduce a sistemas que luchan por reconocer rostros de mujeres y de piel oscura .

Mientras los investigadores intentan superarse unos a otros en puntos de referencia artificiales, una de cada nueve personas en el mundo se muere de hambre.

Cuando los estudios sobre las aplicaciones del mundo real del aprendizaje automático se excluyen de la corriente principal, es difícil para los investigadores ver el impacto de sus modelos sesgados, lo que hace que sea mucho menos probable que trabajen para resolver estos problemas.

Una de las razones por las que se minimiza la investigación de aplicaciones podría ser que otros en el aprendizaje automático piensan que este trabajo consiste simplemente en aplicar métodos que ya existen. Sin embargo, en realidad, adaptar las herramientas de aprendizaje automático a problemas específicos del mundo real requiere un trabajo algorítmico y de ingeniería significativo. Los investigadores de aprendizaje automático que no se dan cuenta de esto y esperan que las herramientas funcionen de inmediato, a menudo terminan creando modelos ineficaces. O evalúan el rendimiento de un modelo utilizando métricas que no se traducen en impacto en el mundo real, o eligen el objetivo equivocado por completo.

Por ejemplo, la mayoría de los estudios que aplican el aprendizaje profundo al análisis de ecocardiogramas intentan superar la capacidad de un médico para predecir enfermedades. Pero prediciendo normal función del corazón (pdf) en realidad ahorraría más tiempo a los cardiólogos al identificar a los pacientes que no necesitan su experiencia. Muchos estudios que aplican el aprendizaje automático a la viticultura tienen como objetivo optimizar rendimientos de uva (pdf) , pero los enólogos quieren los niveles correctos de azúcar y ácido, no solo muchas bayas grandes y acuosas, dice Drake Whitcraft de Bodega Whitcraft en California.

Más daño que bien

Otra razón por la que la investigación de aplicaciones debería ser importante para el aprendizaje automático convencional es que los conjuntos de datos de referencia del campo están lamentablemente fuera de contacto con la realidad.

Los nuevos modelos de aprendizaje automático se miden con grandes conjuntos de datos seleccionados que carecen de ruido y tienen categorías bien definidas y explícitamente etiquetadas (gato, perro, pájaro). El aprendizaje profundo es bueno para estos problemas porque asume un mundo en gran medida estable (pdf) .

Pero en el mundo real, estas categorías cambian constantemente con el tiempo o según el contexto geográfico y cultural. Desafortunadamente, la respuesta no ha sido desarrollar nuevos métodos que aborden las dificultades de los datos del mundo real; más bien, ha habido un impulso para que los investigadores de aplicaciones creen sus propios conjuntos de datos de referencia.

El objetivo de estos esfuerzos es esencialmente introducir los problemas del mundo real en el paradigma que otros investigadores de aprendizaje automático utilizan para medir el rendimiento. Pero es probable que los conjuntos de datos específicos del dominio no sean mejores que las versiones existentes para representar escenarios del mundo real. Los resultados podrían hacer más daño que bien. Las personas a las que podría haber ayudado el trabajo de estos investigadores se desilusionarán con las tecnologías que pobremente ejecutado cuando más importa.

Debido a las prioridades equivocadas del campo, las personas que intentan resolver los mayores desafíos del mundo no se benefician tanto como podrían de la verdadera promesa de la IA. Mientras los investigadores intentan superarse unos a otros en puntos de referencia artificiales, una de cada nueve personas en el mundo se muere de hambre . la tierra se esta calentando y el nivel del mar está subiendo a un ritmo alarmante.

Como el neurocientífico y líder de pensamiento de IA Gary Marcus una vez escribió (pdf) : Las mayores contribuciones de la IA a la sociedad... podrían y deberían llegar en última instancia a dominios como el descubrimiento científico automatizado, lo que conduciría, entre otras cosas, a versiones de la medicina mucho más sofisticadas que las que son posibles actualmente. Pero para llegar allí, debemos asegurarnos de que el campo en su conjunto no se atasque primero en un mínimo local.

Para que el mundo se beneficie del aprendizaje automático, la comunidad debe volver a preguntarse, como dijo una vez Wagstaff: ¿Cuál es la función objetivo del campo? Si la respuesta es tener un impacto positivo en el mundo, debemos cambiar la forma en que pensamos acerca de las aplicaciones.

Hanna Kerner es profesor asistente de investigación en la Universidad de Maryland en College Park. Investiga métodos de aprendizaje automático para aplicaciones de sensores remotos en el monitoreo agrícola y la seguridad alimentaria como parte del Cosecha de la NASA programa.

esconder