Los nuevos estándares para los ensayos clínicos de IA ayudarán a detectar el aceite de serpiente y la exageración

Kyle McDonald / Flickr

Las noticias: Un consorcio internacional de expertos médicos ha presentado los primeros estándares oficiales para ensayos clínicos que involucran inteligencia artificial. La medida llega en un momento en que la exageración en torno a la IA médica está en su apogeo, con afirmaciones infladas y no verificadas sobre la efectividad de ciertas herramientas que amenazan con socavar la confianza de las personas en la IA en general.

Lo que significa: Anunciado en Medicina natural , British Medical Journal y The Lancet, los nuevos estándares amplían dos conjuntos de pautas sobre cómo se llevan a cabo y se informan los ensayos clínicos que ya se utilizan en todo el mundo para el desarrollo de fármacos, pruebas de diagnóstico y otras intervenciones médicas. Los investigadores de IA ahora tendrán que describir las habilidades necesarias para usar una herramienta de IA, el entorno en el que se evalúa la IA, los detalles sobre cómo los humanos interactúan con la IA , el análisis de casos de error, y más.

Por qué importa: Los ensayos controlados aleatorios son la forma más confiable de demostrar la efectividad y seguridad de un tratamiento o técnica clínica. Son la base tanto de la práctica médica como de la política de salud. Pero su confiabilidad depende de si los investigadores se adhieren a pautas estrictas sobre cómo se llevan a cabo y se informan sus ensayos. En los últimos años, se han desarrollado y descrito en revistas médicas muchas herramientas nuevas de IA, pero su eficacia ha sido difícil de comparar y evaluar porque la calidad de los diseños de los ensayos varía. En marzo, un estudio en el BMJ advirtió que la investigación deficiente y las afirmaciones exageradas sobre cuán buena era la IA para analizar imágenes médicas representaban un riesgo para millones de pacientes.

Exageración máxima: La falta de estándares comunes también ha permitido a las empresas privadas alardear de la efectividad de su IA sin enfrentar el escrutinio que se aplica a otros tipos de intervenciones o diagnósticos médicos. Por ejemplo, la empresa de salud digital con sede en el Reino Unido Babilonia Salud fue criticado en 2018 por anunciar que su chatbot de diagnóstico estaba a la par con los médicos humanos, sobre la base de una prueba que los críticos argumentaron que era engañoso.

Babylon Health está lejos de estar solo. Los desarrolladores han estado afirmando que las IA médicas superan o igualan la capacidad humana durante algún tiempo, y la pandemia ha acelerado esta tendencia a medida que las empresas compiten para que sus herramientas se noten. En la mayoría de los casos, la evaluación de estos AI se realiza internamente y en condiciones favorables.

Promesa futura: Eso no quiere decir que la IA no pueda vencer a los médicos humanos. De hecho, la primera evaluación independiente de una herramienta de diagnóstico de IA que superó a los humanos en la detección del cáncer en las mamografías fue publicado solo el mes pasado . El estudio encontró que una herramienta fabricada por Lunit AI y utilizada en ciertos hospitales en Corea del Sur terminó en el medio del grupo de radiólogos con los que se probó. Fue aún más preciso cuando se combinó con un médico humano. Al separar lo bueno de lo malo, los nuevos estándares facilitarán este tipo de evaluación independiente y, en última instancia, conducirán a una IA médica mejor y más confiable.

esconder