Tecnología médica · us
¿Puede la IA reducir las lesiones que pasan inadvertidas al redactar primero los informes radiológicos? Un estudio de casi 240,000 exploraciones muestra potencial y lagunas de validación
Mosaic presenta un estudio interno según el cual un modelo de visión y lenguaje puede identificar anomalías no documentadas en los informes originales y mejorar la eficiencia de la interpretación. Sin embargo, el «aumento de aproximadamente el 40% en la detección» responde a un cálculo específico, y demostrar beneficios para los pacientes requiere una validación clínica más completa.
Un informe radiológico debe tanto identificar anomalías como describir claramente los hallazgos. Si la IA puede señalar neumotórax, fracturas o posiciones anómalas de catéteres que se hayan pasado por alto antes de que el médico firme el informe, su valor iría más allá de ahorrar tiempo de escritura. Mosaic Clinical Technologies presentó el 11 de noviembre un estudio retrospectivo interno de 237,905 exploraciones y afirmó que su modelo de visión y lenguaje Cognita identificó, en cada una de las 50 categorías de anomalías evaluadas, hallazgos confirmados por expertos que no figuraban en los informes originales. Sin embargo, estos resultados proceden por ahora de los datos del estudio publicados por la empresa, y el dispositivo sigue en fase de uso en investigación.
El modelo está diseñado para analizar imágenes y generar observaciones escritas que ayuden a redactar borradores de informes radiológicos, que posteriormente los médicos revisan, modifican y firman. Según los dos informes complementarios de la página de investigación de Cognita, la parte de tomografía computarizada incluyó 71,707 exploraciones y 35 categorías de anomalías; la parte de radiografía comprendió 100,000 radiografías de tórax y 66,198 radiografías musculoesqueléticas y abdominales, con un total de 15 categorías de anomalías evaluadas. El estudio comparó las respuestas del modelo con los informes originales elaborados sin IA.
El aumento medio de aproximadamente el 40% en la detección que afirma la empresa debe entenderse según la definición del indicador. El estudio de radiografía define la «ganancia relativa de detección» como los hallazgos positivos adicionales identificados por el modelo y confirmados por expertos, divididos entre el número de diagnósticos verdaderos positivos de los informes médicos originales. Por tanto, no significa que la exactitud global haya aumentado cuarenta puntos porcentuales, ni que cada paciente pueda recibir un 40% más de diagnósticos. Por ejemplo, en las radiografías de tórax, la ganancia relativa fue del 57.5% para nódulos o masas pulmonares y del 46.5% para neumotórax. Estas cifras describen la magnitud de los hallazgos adicionales y no pueden traducirse directamente en diagnósticos confirmados de cáncer de pulmón ni en beneficios terapéuticos.
El gran número total de exploraciones tampoco significa que expertos hayan vuelto a interpretar cada imagen. El estudio de radiografía utilizó primero un modelo de lenguaje de gran tamaño validado internamente para determinar si la IA y los informes médicos documentaban las anomalías especificadas. Después, seleccionó aleatoriamente casos en los que ambos discrepaban para que los revisaran radiólogos con certificación de especialidad en Estados Unidos; en total, se revisaron manualmente 713 exploraciones. Los revisores desconocían si las descripciones de los hallazgos procedían de la IA o del informe original, lo que ayuda a reducir el sesgo relacionado con la fuente. Sin embargo, al centrarse la validación en los casos con discrepancias, debe tenerse en cuenta la posibilidad de que ambos hayan pasado por alto una misma anomalía; no puede considerarse que todos los casos contaran con un patrón de referencia diagnóstico independiente.
La evaluación de la calidad de los informes tuvo una escala aún menor. En una evaluación de 159 casos de radiografía de tórax, se consideró que el 91.2% de los borradores de IA no contenían errores, frente al 83.0% de los informes médicos originales. En otros 107 casos de radiografías musculoesqueléticas y abdominales, las proporciones de errores con un posible impacto clínico importante fueron del 3.7% y del 6.5%, respectivamente. Estos resultados ofrecen indicios preliminares sobre la calidad de los borradores, pero la muestra es limitada. No permiten suponer que las casi 240,000 exploraciones presentaran mejoras en la misma proporción, ni demuestran directamente que los informes finales sean necesariamente más seguros cuando los médicos utilizan estos borradores.
Los datos de eficiencia proceden de registros de uso real de otra parte del estudio, también bajo condiciones de uso en investigación. El informe de radiografía señala que los médicos que utilizaron una determinada cantidad de borradores de IA aumentaron su eficiencia un 31%, tras ponderar por el volumen de exploraciones, en comparación con su propio rendimiento antes de la introducción de la herramienta. La medición se basó en las unidades de trabajo basadas en el tiempo completadas por minuto; no significa que el tiempo necesario para cada informe se redujera uniformemente un 31%. Este tipo de comparación antes y después puede mostrar cambios en el flujo de trabajo, pero también puede verse afectado por la composición de los casos, la experiencia de uso y otros ajustes en los procesos, por lo que no basta por sí solo para confirmar que toda la mejora se deba a la IA.
Este estudio desplaza la cuestión de «si la IA puede reconocer imágenes» a «si, tras la redacción de borradores por la IA, los médicos pueden realizar una evaluación más completa y trabajar con mayor eficiencia». El siguiente paso requiere aclarar si los resultados pueden reproducirse en distintos hospitales y poblaciones de pacientes, y si los hallazgos adicionales realmente modifican el manejo clínico y reducen los daños. Tanto la página de investigación de Cognita como los artículos señalan que los modelos correspondientes siguen siendo dispositivos de uso en investigación y no pueden comercializarse en Estados Unidos; Mosaic afirma que está solicitando autorización de la Administración de Alimentos y Medicamentos de Estados Unidos. Por ahora, se trata de un conjunto de datos sobre una herramienta clínica que merece una evaluación adicional, y aún no constituye una conclusión definitiva sobre la mejora de los resultados de los pacientes.