AI está luchando con una crisis de replicación

Los gigantes tecnológicos dominan la investigación, pero la línea entre el avance real y la exhibición de productos puede ser confusa. Algunos científicos han tenido suficiente.





  • Will douglas el cielo página de archivo
12 de noviembre de 2020

El mes pasado, Nature publicó un respuesta condenatoria escrito por 31 científicos a un estudio de Google Salud que había aparecido en la revista a principios de este año. Google describía pruebas exitosas de una IA que buscaba signos de cáncer de mama en imágenes médicas. Pero según sus críticos, el equipo de Google proporcionó tan poca información sobre su código y cómo se probó que el estudio no fue más que una promoción de tecnología patentada.

No podíamos soportarlo más, dice Benjamin Haibe-Kains, autor principal de la respuesta, que estudia genómica computacional en la Universidad de Toronto. No se trata de este estudio en particular, es una tendencia que hemos estado presenciando durante varios años y que realmente ha comenzado a molestarnos.

Haibe-Kains y sus colegas se encuentran entre un número creciente de científicos que se oponen a la aparente falta de transparencia en la investigación de la IA. Cuando vimos ese artículo de Google, nos dimos cuenta de que era otro ejemplo más de una revista de muy alto perfil que publica un estudio muy emocionante que no tiene nada que ver con la ciencia, dice. Es más un anuncio de tecnología genial. Realmente no podemos hacer nada con eso.



La ciencia se construye sobre una base de confianza, que generalmente implica compartir suficientes detalles sobre cómo se lleva a cabo la investigación para permitir que otros la repliquen, verificando los resultados por sí mismos. Así es como la ciencia se autocorrige y elimina los resultados que no se sostienen. La replicación también permite que otros se basen en esos resultados, lo que ayuda a avanzar en el campo. La ciencia que no se puede replicar se queda en el camino.

Al menos, esa es la idea. En la práctica, pocos estudios se replican por completo porque la mayoría de los investigadores están más interesados ​​en producir nuevos resultados que en reproducir los antiguos. Pero en campos como la biología y la física, y la informática en general, normalmente se espera que los investigadores proporcionen la información necesaria para volver a ejecutar los experimentos, incluso si esas repeticiones son raras.

novato ambicioso

AI está sintiendo el calor por varias razones. Para empezar, es un recién llegado. Solo se ha convertido realmente en una ciencia experimental en la última década, dice Joelle Pineau, científica informática de Facebook AI Research y la Universidad McGill, coautora de la queja. Solía ​​ser teórico, pero cada vez más estamos realizando experimentos, dice ella. Y nuestra dedicación a la metodología de sonido se está quedando atrás de la ambición de nuestros experimentos.



El problema no es simplemente académico. La falta de transparencia impide que los nuevos modelos y técnicas de IA se evalúen adecuadamente en cuanto a robustez, sesgo y seguridad. La IA pasa rápidamente de los laboratorios de investigación a las aplicaciones del mundo real, con un impacto directo en la vida de las personas. Pero los modelos de aprendizaje automático que funcionan bien en el laboratorio pueden fallar en la naturaleza, con consecuencias potencialmente peligrosas. La replicación por parte de diferentes investigadores en diferentes entornos expondría los problemas antes, lo que haría que la IA fuera más fuerte para todos.

Historia relacionada

Inteligencia artificial general: ¿Estamos cerca y tiene sentido intentarlo?

Una máquina que pudiera pensar como una persona ha sido la visión rectora de la investigación de IA desde los primeros días, y sigue siendo su idea más divisiva.

La IA ya sufre el problema de la caja negra: puede ser imposible decir exactamente cómo o por qué un modelo de aprendizaje automático produce los resultados que produce. La falta de transparencia en la investigación empeora las cosas. Los modelos grandes necesitan tantos ojos como sea posible, más personas probándolos y averiguando qué los hace funcionar. Así es como hacemos que la IA en el cuidado de la salud sea más segura, la IA en policía más justa , y chatbots menos odiosos.



Lo que impide que la replicación de IA ocurra como debería es la falta de acceso a tres cosas: código, datos y hardware. De acuerdo con la Informe sobre el estado de la IA de 2020 , un análisis anual bien examinado del campo realizado por los inversores Nathan Benaich e Ian Hogarth, solo el 15% de los estudios de IA comparten su código. Los investigadores de la industria son mayores delincuentes que los afiliados a las universidades. En particular, el informe llama a OpenAI y DeepMind por mantener el código en secreto.

Luego está el abismo cada vez mayor entre los que tienen y los que no tienen cuando se trata de los dos pilares de la IA, los datos y el hardware. Los datos suelen ser propietarios, como la información que Facebook recopila sobre sus usuarios, o confidenciales, como en el caso de los registros médicos personales. Y los gigantes tecnológicos llevan a cabo cada vez más investigaciones en enormes y costosos grupos de computadoras a los que pocas universidades o empresas más pequeñas tienen los recursos para acceder.

Para tomar un ejemplo, entrenar el generador de lenguaje GPT-3 es se estima que tiene un costo OpenAI $ 10 a $ 12 millones, y ese es solo el modelo final, sin incluir el costo de desarrollar y entrenar sus prototipos. Probablemente podrías multiplicar esa cifra por al menos uno o dos órdenes de magnitud, dice Benaich, quien es fundador de Air Street Capital, una firma de capital de riesgo que invierte en nuevas empresas de IA. Solo un pequeño puñado de grandes empresas de tecnología puede permitirse hacer ese tipo de trabajo, dice: nadie más puede simplemente gastar grandes presupuestos en estos experimentos.



El ritmo de avance es vertiginoso, con miles de artículos publicados cada año. Pero a menos que los investigadores sepan en quiénes confiar, es difícil que el campo avance. La replicación permite a otros investigadores verificar que los resultados no hayan sido seleccionados y que las nuevas técnicas de IA realmente funcionen como se describe. Cada vez es más difícil saber cuáles son resultados confiables y cuáles no, dice Pineau.

¿Qué se puede hacer? Como muchos investigadores de IA, Pineau divide su tiempo entre la universidad y los laboratorios corporativos. Durante los últimos años, ha sido la fuerza impulsora detrás de un cambio en la forma en que se publican las investigaciones sobre IA. Por ejemplo, el año pasado ayudó a presentar una lista de verificación de cosas que los investigadores deben proporcionar, incluido el código y descripciones detalladas de los experimentos, cuando envían documentos a NeurIPS, una de las conferencias de IA más grandes.

La replicación es su propia recompensa

Pineau también ha ayudado a lanzar un puñado de desafíos de reproducibilidad, en los que los investigadores intentan replicar los resultados de los estudios publicados. Los participantes seleccionan documentos que han sido aceptados en una conferencia y compiten para volver a ejecutar los experimentos utilizando la información proporcionada. Pero el único premio son las felicitaciones.

Esta falta de incentivos es una barrera para tales esfuerzos en todas las ciencias, no solo en IA. La replicación es esencial, pero no se recompensa. Una solución es hacer que los estudiantes hagan el trabajo. Durante los últimos dos años, Rosemary Ke, estudiante de doctorado en Mila, un instituto de investigación en Montreal fundado por Yoshua Bengio, ha organizado una reto de reproducibilidad donde los estudiantes intentan replicar los estudios enviados a NeurIPS como parte de su curso de aprendizaje automático. A su vez, algunas replicaciones exitosas son revisadas por pares y publicadas en la revista ReScience.

Se necesita mucho esfuerzo para reproducir otro documento desde cero, dice Ke. El desafío de reproducibilidad reconoce este esfuerzo y da crédito a las personas que hacen un buen trabajo. Ke y otros también están haciendo correr la voz en las conferencias de IA a través de talleres organizados para alentar a los investigadores a hacer que su trabajo sea más transparente. Este año, Pineau y Ke ampliaron el desafío de la reproducibilidad a siete de las principales conferencias de IA, incluidas ICML e ICLR.

Otro impulso a la transparencia es la Papeles con Código proyecto, creado por el investigador de IA Robert Stojnic cuando estaba en la Universidad de Cambridge. (Stojnic ahora es colega de Pineau en Facebook). Lanzado como un sitio web independiente donde los investigadores podían vincular un estudio con el código que lo acompañaba, este año Papers with Code comenzó una colaboración con arXiv, un popular servidor de preimpresión. Desde octubre, todos los artículos sobre aprendizaje automático en arXiv vienen con una sección Artículos con código que enlaza directamente con el código que los autores desean que esté disponible. El objetivo es hacer que compartir sea la norma.

¿Estos esfuerzos marcan la diferencia? Pineau descubrió que el año pasado, cuando se introdujo la lista de verificación, la cantidad de investigadores que incluyeron el código con los documentos enviados a NeurIPS aumentó. de menos del 50% a alrededor del 75% . Miles de revisores dicen que usaron el código para evaluar las presentaciones. Y el número de participantes en los desafíos de reproducibilidad está aumentando.

Sudando los detalles

Pero es solo un comienzo. Haibe-Kains señala que el código por sí solo a menudo no es suficiente para volver a ejecutar un experimento. La creación de modelos de IA implica realizar muchos cambios pequeños: agregar parámetros aquí, ajustar valores allá. Cualquiera de estos puede marcar la diferencia entre que un modelo funcione y no funcione. Sin metadatos que describan cómo se entrenan y ajustan los modelos, el código puede ser inútil. El diablo realmente está en los detalles, dice.

Tampoco siempre está claro exactamente qué código compartir en primer lugar. Muchos laboratorios utilizan software especial para ejecutar sus modelos; a veces esto es propietario. También es difícil saber cuánto de ese código de soporte debe compartirse, dice Haibe-Kains.

Pineau no está demasiado preocupado por tales obstáculos. Deberíamos tener expectativas realmente altas para compartir código, dice ella. Compartir datos es más complicado, pero aquí también hay soluciones. Si los investigadores no pueden compartir sus datos, pueden dar instrucciones para que otros puedan crear conjuntos de datos similares. O podría tener un proceso en el que un pequeño número de auditores independientes tuvieran acceso a los datos, verificando los resultados para todos los demás, dice Haibe-Kains.

El hardware es el mayor problema. Pero DeepMind afirma que la investigación de gran valor como AlphaGo o GPT-3 tiene un efecto de goteo, donde el dinero gastado por laboratorios ricos eventualmente conduce a resultados que benefician a todos. La IA que es inaccesible para otros investigadores en sus primeras etapas, porque requiere mucha potencia informática, a menudo se vuelve más eficiente y, por lo tanto, más accesible a medida que se desarrolla. AlphaGo Zero superó al AlphaGo original usando muchos menos recursos computacionales, dice Koray Kavukcuoglu, vicepresidente de investigación de DeepMind.

En teoría, esto significa que incluso si la replicación se retrasa, al menos todavía es posible. Kavukcuoglu señala que Gian-Carlo Pascutto, un codificador belga de Mozilla que escribe software de ajedrez y Go en su tiempo libre, pudo recrear una versión de AlphaGo Zero llamada Leela Zero, utilizando algoritmos descritos por DeepMind en sus documentos. Pineau también cree que la investigación emblemática como AlphaGo y GPT-3 es rara. La mayoría de las investigaciones de IA se ejecutan en computadoras que están disponibles para el laboratorio promedio, dice ella. Y el problema no es exclusivo de la IA. Pineau y Benaich apuntan a la física de partículas, donde algunos experimentos solo se pueden realizar en equipos costosos como el Gran Colisionador de Hadrones.

En física, sin embargo, los laboratorios universitarios realizan experimentos conjuntos en el LHC. Los grandes experimentos de IA generalmente se llevan a cabo en hardware que es propiedad y está controlado por empresas. Pero incluso eso está cambiando, dice Pineau. Por ejemplo, un grupo llamado Compute Canada está reuniendo clústeres informáticos para permitir que las universidades realicen grandes experimentos de IA. Algunas empresas, incluida Facebook, también dan a las universidades acceso limitado a su hardware. No está completamente allí, dice ella. Pero algunas puertas se están abriendo.

Haibe-Kains está menos convencida. Cuando le pidió al equipo de Google Health que compartiera el código de su IA de detección de cáncer, le dijeron que necesitaba más pruebas. El equipo repite esta justificación en un respuesta formal a las críticas de Haibe-Kains, también publicadas en Nature: Tenemos la intención de someter nuestro software a pruebas exhaustivas antes de su uso en un entorno clínico, trabajando junto con pacientes, proveedores y reguladores para garantizar la eficacia y la seguridad. Los investigadores también dijeron que no tenían permiso para compartir todos los datos médicos que estaban usando.

No es lo suficientemente bueno, dice Haibe-Kains: si quieren crear un producto a partir de él, entiendo completamente que no divulgarán toda la información. Pero él piensa que si publicas en una revista científica o en una conferencia, tienes el deber de publicar código que otros puedan ejecutar. A veces, eso puede significar compartir una versión entrenada con menos datos o que use hardware menos costoso. Podría dar peores resultados, pero la gente podrá jugar con él. Los límites entre la creación de un producto y la investigación son cada vez más confusos, dice Haibe-Kains. Creo que como campo vamos a perder.

Los hábitos de investigación son difíciles de morir

Si las empresas van a ser criticadas por publicar, ¿por qué lo hacen? Hay un grado de relaciones públicas, por supuesto. Pero la razón principal es que los mejores laboratorios corporativos están llenos de investigadores de universidades. Hasta cierto punto, la cultura en lugares como Facebook AI Research, DeepMind y OpenAI está determinada por hábitos académicos tradicionales. Las empresas tecnológicas también ganan al participar en la comunidad de investigación más amplia. Todos los grandes proyectos de IA en laboratorios privados se basan en capas y capas de investigación pública. Y pocos investigadores de IA no han utilizado herramientas de aprendizaje automático de código abierto como PyTorch de Facebook o TensorFlow de Google.

A medida que se realicen más investigaciones en las empresas tecnológicas gigantes, se volverán inevitables ciertas compensaciones entre las demandas competitivas de los negocios y la investigación. La pregunta es cómo los investigadores los navegan. A Haibe-Kains le gustaría que revistas como Nature dividieran lo que publican en flujos separados: estudios reproducibles por un lado y exhibiciones tecnológicas por el otro.

Pero Pineau es más optimista. No estaría trabajando en Facebook si no tuviera un enfoque abierto a la investigación, dice.

Otros grandes laboratorios corporativos también enfatizan su compromiso con la transparencia. El trabajo científico requiere el escrutinio y la replicación por parte de otros en el campo, dice Kavukcuoglu. Esta es una parte crítica de nuestro enfoque de investigación en DeepMind.

OpenAI se ha convertido en algo muy diferente de un laboratorio tradicional, dice Kayla Wood, portavoz de la empresa. Naturalmente, eso plantea algunas preguntas. Ella señala que OpenAI trabaja con más de 80 organizaciones académicas y de la industria en la Asociación sobre IA para pensar en las normas de publicación a largo plazo para la investigación.

Pineau cree que hay algo de eso. Ella cree que las empresas de inteligencia artificial están demostrando una tercera forma de investigar, en algún lugar entre las dos corrientes de Haibe-Kains. Ella contrasta la producción intelectual de los laboratorios privados de IA con la de las compañías farmacéuticas, por ejemplo, que invierten miles de millones en medicamentos y mantienen gran parte del trabajo a puertas cerradas.

Queda por verse el impacto a largo plazo de las prácticas introducidas por Pineau y otros. ¿Se cambiarán los hábitos para siempre? ¿Qué diferencia hará en la aceptación de la IA fuera de la investigación? Mucho depende de la dirección que tome la IA. La tendencia de modelos y conjuntos de datos cada vez más grandes, favorecidos por OpenAI, por ejemplo, seguirá haciendo que la IA de vanguardia sea inaccesible para la mayoría de los investigadores. Por otra parte, nuevas técnicas, como modelo de compresión y aprendizaje de pocos disparos , podría revertir esta tendencia y permitir que más investigadores trabajen con IA más pequeña y eficiente.

De cualquier manera, la investigación de IA seguirá estando dominada por grandes empresas. Si se hace bien, eso no tiene por qué ser algo malo, dice Pineau: AI está cambiando la conversación sobre cómo funcionan los laboratorios de investigación de la industria. La clave será asegurarse de que el campo más amplio tenga la oportunidad de participar. Porque la confiabilidad de la IA, de la que tanto depende, comienza en la vanguardia.