Tecnología médica · eu
¿Cuándo debe actualizarse la IA médica? AEGIS prueba un marco de vigilancia poscomercialización con modelos de sepsis y tumores cerebrales
Que una nueva versión no supere la evaluación no significa que pueda seguir utilizándose la anterior con tranquilidad. Un equipo del Instituto Karolinska separa la evaluación de las actualizaciones de las alertas de riesgo para intentar convertir la supervisión continua de la IA médica en un proceso operativo; por ahora, los resultados se limitan a una prueba de concepto.
Un sistema de inteligencia artificial que ayuda a identificar la sepsis o a delimitar tumores cerebrales en imágenes de resonancia magnética puede perder precisión gradualmente cuando cambian la composición de la población de pacientes, los equipos y los procesos asistenciales. En ese momento, el hospital no solo debe decidir si adopta una nueva versión, sino también responder a otra pregunta más urgente: ¿la versión que está utilizando ya requiere una intervención?
El marco AEGIS, propuesto por un equipo del Instituto Karolinska de Suecia, busca establecer vías de decisión claras para ambas preguntas. El estudio se publicó el 13 de octubre en npj Digital Medicine y el instituto presentó los resultados el día 22; el mismo equipo ya había publicado una prepublicación en marzo. El objetivo de este estudio es demostrar cómo llevar a cabo la vigilancia poscomercialización y las decisiones de actualización de la IA médica; todavía no ha demostrado que este proceso pueda mejorar el pronóstico de los pacientes.
AEGIS divide el trabajo en tres partes: integrar nuevos datos y volver a entrenar el modelo, supervisar su rendimiento y decidir los siguientes pasos según condiciones predefinidas. El estudio toma como referencia el plan de control de cambios predeterminado de la Administración de Alimentos y Medicamentos de Estados Unidos y las normas de la Unión Europea relativas a los productos sanitarios y la IA, con la intención de convertir los requisitos de supervisión en procedimientos operativos trazables. Sin embargo, los sistemas estadounidense y europeo no son completamente iguales, y adoptar el marco no equivale a obtener la autorización del organismo regulador.
Dentro del marco, los modelos candidatos se clasifican, según un orden de prioridad, en cuatro categorías: despliegue permitido, despliegue permitido con condiciones, remisión a revisión clínica o despliegue rechazado; todas ellas son decisiones de gobernanza interna. Por otra parte, una alerta independiente denominada ALARM supervisa los modelos ya desplegados. Así, el sistema puede rechazar una nueva versión y, al mismo tiempo, emitir una alerta sobre la anterior, evitando que se interprete el rechazo de una actualización como una señal de que la situación actual sigue siendo segura.
La demostración sobre sepsis utilizó datos históricos de unidades de cuidados intensivos de PhysioNet Challenge 2019 y un clasificador de bosque aleatorio para realizar 11 rondas de pruebas, incorporando progresivamente escenarios de corrupción de datos. La prepublicación inicial documentó ocho decisiones de despliegue permitido y una de cada una de las otras tres categorías, además de una situación en la que el modelo candidato no podía desplegarse y el modelo en uso también activaba una alerta. Otra demostración, sobre tumores cerebrales, utilizó imágenes de resonancia magnética de BraTS 2023/24 y el modelo nnU-Net ResENC-M en 12 rondas de pruebas; según la documentación del equipo, en esta demostración se desactivaron las dos categorías intermedias de decisión y solo se probó la aceptación o el rechazo del despliegue.
El artículo publicado también evaluó la capacidad de detectar cambios en la distribución mediante datos de distintos hospitales: informó de un aumento del ROC-AUC de 0.82 a 1.00 y de la activación de la detección con lotes de datos de aproximadamente 500 pacientes; en estos experimentos no se produjeron falsas alarmas. Estas cifras miden la capacidad de identificar cambios en los datos y no pueden interpretarse como la precisión clínica del diagnóstico de sepsis o de la segmentación de tumores cerebrales, ni garantizan que otros hospitales obtengan los mismos resultados.
Actualmente, la puntuación de deriva de AEGIS capta principalmente cambios en la distribución de los datos de entrada y todavía no aborda directamente la deriva conceptual, como los cambios en la relación entre los mismos datos de entrada y los resultados clínicos. El equipo ha publicado una guía de implementación, plantillas de documentación y código de demostración, pero antes de utilizarlo en la atención clínica todavía será necesario completar la validación clínica y la evaluación regulatoria para cada uso específico. Las próximas pruebas sobre el terreno con socios clínicos y organismos reguladores podrían permitir determinar si este procedimiento puede identificar los problemas a tiempo y respaldar las medidas adecuadas.