La IA médica de Google fue súper precisa en un laboratorio. La vida real era una historia diferente.

Wikimedia Commons

La pandemia de covid-19 está llevando al límite los recursos hospitalarios en muchos países del mundo. No sorprende que muchas personas esperen que la IA pueda acelerar la detección de pacientes y aliviar la tensión del personal clínico. Pero un estudio de Google Health, el primero en observar el impacto de una herramienta de aprendizaje profundo en entornos clínicos reales — revela que incluso las IA más precisas pueden empeorar las cosas si no se adaptan a los entornos clínicos en los que funcionarán.

Las reglas existentes para implementar IA en entornos clínicos, como los estándares para la aprobación de la FDA en los EE. UU. o una marca CE en Europa, se centran principalmente en la precisión. No existen requisitos explícitos de que una IA deba mejorar el resultado para los pacientes, en gran parte porque tales ensayos aún no se han realizado. Pero eso debe cambiar, dice Emma Beede, investigadora de UX en Google Health: Tenemos que entender cómo las herramientas de IA funcionarán para las personas en contexto, especialmente en el cuidado de la salud, antes de que se implementen ampliamente.

La primera oportunidad de Google para probar la herramienta en un entorno real vino de Tailandia. El ministerio de salud del país se ha fijado la meta anual de examinar al 60 % de las personas con diabetes para detectar retinopatía diabética, que puede causar ceguera si no se detecta a tiempo. Pero con alrededor de 4,5 millones de pacientes por solo 200 especialistas en retina, aproximadamente el doble de la proporción en los EE. UU., las clínicas luchan por alcanzar el objetivo. Google tiene la aprobación de la marca CE, que cubre Tailandia, pero aún está esperando la aprobación de la FDA. Entonces, para ver si la IA podría ayudar, Beede y sus colegas equiparon 11 clínicas en todo el país con un sistema de aprendizaje profundo capacitado para detectar signos de enfermedades oculares en pacientes con diabetes.

En el sistema que Tailandia había estado usando, las enfermeras toman fotos de los ojos de los pacientes durante los controles y las envían a un especialista en otro lugar para que las revise, un proceso que puede demorar hasta 10 semanas. La IA desarrollada por Google Health puede identificar signos de retinopatía diabética a partir de un escaneo ocular con más del 90 % de precisión (lo que el equipo llama nivel de especialista humano) y, en principio, dar un resultado en menos de 10 minutos. El sistema analiza las imágenes en busca de indicadores reveladores de la condición, como vasos sanguíneos bloqueados o con fugas.

Más sobre coronavirus

• Nuestra cobertura más esencial de covid-19 es gratuita, que incluye:

  ¿Qué es la inmunidad colectiva?

  ¿Qué son las pruebas serológicas?

  
  
  

  ¿Cómo funciona el coronavirus?

  ¿Cuáles son los tratamientos potenciales?

  ¿Qué medicamentos funcionan mejor?

  
  
  

  ¿Cuál es la forma correcta de hacer el distanciamiento social?

  Otras preguntas frecuentes sobre el coronavirus

  ---

  
  
  

  Boletín: Informe técnico sobre coronavirus

  Zoom show: Radio Corona

• Ver también:

  Toda nuestra cobertura covid-19

  El número especial de covid-19

• Haga clic aquí para suscribirse y apoyar nuestro periodismo sin fines de lucro.

Sonidos impresionante. Pero una evaluación de precisión de un laboratorio solo llega hasta cierto punto. No dice nada sobre cómo se desempeñará la IA en el caos de un entorno del mundo real, y esto es lo que el equipo de Google Health quería averiguar. Durante varios meses, observaron a las enfermeras realizando exploraciones oculares y las entrevistaron sobre sus experiencias con el nuevo sistema. Los comentarios no fueron del todo positivos.

Cuando funcionó bien, la IA aceleró las cosas. Pero a veces no daba ningún resultado. Como la mayoría de los sistemas de reconocimiento de imágenes, el modelo de aprendizaje profundo había sido entrenado en escaneos de alta calidad; para garantizar la precisión, fue diseñado para rechazar imágenes que cayeran por debajo de un cierto umbral de calidad. Con las enfermeras escaneando a docenas de pacientes por hora y, a menudo, tomando las fotos en condiciones de poca luz, más de una quinta parte de las imágenes fueron rechazadas.

A los pacientes cuyas imágenes fueron expulsadas del sistema se les dijo que tendrían que visitar a un especialista en otra clínica otro día. Si les resultaba difícil ausentarse del trabajo o no tenían automóvil, esto era obviamente un inconveniente. Las enfermeras se sintieron frustradas, especialmente cuando creían que las exploraciones rechazadas no mostraban signos de enfermedad y que las citas de seguimiento eran innecesarias. A veces perdían el tiempo intentando retomar o editar una imagen que la IA había rechazado.

Una enfermera opera el escáner de retina, tomando imágenes de la parte posterior del ojo de un paciente. (Google)

Debido a que el sistema tenía que cargar imágenes en la nube para su procesamiento, las malas conexiones a Internet en varias clínicas también causaron demoras. A los pacientes les gustan los resultados instantáneos, pero Internet es lento y luego los pacientes se quejan, dijo una enfermera. Han estado esperando aquí desde las 6 a. m., y durante las primeras dos horas solo pudimos evaluar a 10 pacientes.

El equipo de Google Health ahora está trabajando con el personal médico local para diseñar nuevos flujos de trabajo. Por ejemplo, se podría capacitar a las enfermeras para que utilicen su propio juicio en casos dudosos. El modelo en sí también podría modificarse para manejar mejor las imágenes imperfectas.

Arriesgando una reacción violenta

Este es un estudio crucial para cualquier persona interesada en ensuciarse las manos e implementar soluciones de IA en entornos del mundo real, dice Hamid Tizhoosh de la Universidad de Waterloo en Canadá, que trabaja en IA para imágenes médicas. Tizhoosh es muy crítico con lo que él ve como una prisa por anunciar nuevas herramientas de IA en respuesta al covid-19. En algunos casos, las herramientas son desarrolladas y los modelos lanzados por equipos sin experiencia en atención médica, dice. Él ve el estudio de Google como un recordatorio oportuno de que establecer la precisión en un laboratorio es solo el primer paso.

Michael Abramoff, oftalmólogo y científico informático de los Hospitales y Clínicas de la Universidad de Iowa, ha estado desarrollando una IA para diagnosticar enfermedades de la retina durante varios años y es director ejecutivo de una empresa derivada llamada IDx Technologies, que ha colaborado con IBM Watson. Abramoff ha sido un animador de la IA en el cuidado de la salud en el pasado, pero también advierte contra las prisas y advierte sobre una reacción violenta si las personas tienen malas experiencias con la IA. Estoy muy contento de que Google muestre que está dispuesto a investigar el flujo de trabajo real en las clínicas, dice. Hay mucho más en el cuidado de la salud que los algoritmos.

Abramoff también cuestiona la utilidad de comparar herramientas de IA con especialistas humanos cuando se trata de precisión. Por supuesto, no queremos que una IA haga una mala decisión. Pero los médicos humanos no están de acuerdo todo el tiempo, dice, y eso está bien. Un sistema de IA debe encajar en un proceso en el que se discutan las fuentes de incertidumbre en lugar de simplemente rechazarlas.

Hazlo bien y el los beneficios podrían ser enormes . Cuando funcionó bien, Beede y sus colegas vieron cómo la IA hacía que las personas que eran buenas en su trabajo fueran aún mejores. Había una enfermera que evaluó a 1000 pacientes por su cuenta, y con esta herramienta es imparable, dice. A los pacientes realmente no les importaba que fuera una IA en lugar de un ser humano leyendo sus imágenes. Les importaba más cuál iba a ser su experiencia.

Corrección: la línea de apertura se modificó para dejar en claro que no todos los países están siendo abrumados.

esconder