Inteligencia artificial biomédica · eu
¿Qué fiabilidad tiene la IA al organizar historias clínicas oncológicas? Dos estudios evalúan la extracción de datos y la revisión por otro modelo
Los resúmenes de investigación publicados por Flatiron indican que el rendimiento de la IA al extraer datos de historias clínicas de cáncer de próstata en Alemania puede acercarse al de los expertos y que otro modelo también puede detectar algunos errores; sin embargo, los errores no detectados y los detalles de validación aún no publicados siguen limitando los usos de estos datos en investigación.
En una historia clínica de cáncer de próstata, la fecha del diagnóstico, la evolución del tratamiento y los indicios de progresión de la enfermedad suelen estar dispersos en distintos registros. Organizarlos en campos que puedan analizarse en investigación es una aplicación concreta de los grandes modelos de lenguaje; sin embargo, si el modelo interpreta mal la evolución de la enfermedad, los análisis posteriores de la eficacia o de los patrones de tratamiento también pueden verse afectados. Además de organizar los datos con rapidez, es necesario determinar si esa organización es fiable.
Flatiron Health anunció el 12 de noviembre que presentará dos estudios de validación de datos en el Congreso de Inteligencia Artificial y Oncología Digital 2026 de la Sociedad Europea de Oncología Médica, que se celebrará en Berlín. El comunicado de prensa no incluyó cifras de exactitud, pero los resúmenes de investigación publicados por la empresa el día anterior ya ofrecían algunos resultados cuantitativos. Está previsto que los dos pósteres se presenten el 17 de noviembre; entre las instituciones de afiliación de los autores del estudio alemán sobre cáncer de próstata figuran Charité y Flatiron.
El primer estudio utilizó la base de datos de investigación alemana de Flatiron para que un gran modelo de lenguaje extrajera detalles del diagnóstico, tratamientos, resistencia a la castración y progresión de la enfermedad de los registros de atención habitual del cáncer de próstata. El equipo empleó un marco de validación denominado VALID, con datos organizados manualmente como referencia de evaluación, y también comprobó si las relaciones entre la fecha del diagnóstico, el estadio y el grado histológico se ajustaban a las expectativas clínicas.
Según el resumen, tras ajustar las instrucciones del modelo y realizar análisis reiterados de errores, la diferencia entre las puntuaciones F1 de todos los campos necesarios de cáncer de próstata y las obtenidas por expertos mediante extracción manual fue de un máximo de 5 puntos porcentuales. La puntuación F1 combina la precisión y la sensibilidad de los resultados de extracción; una «diferencia de un máximo de 5 puntos porcentuales» no equivale a una exactitud del 95%, ni permite saber directamente cuántos errores persisten en cada campo.
El segundo estudio piloto utilizó otro gran modelo de lenguaje como revisor para señalar posibles errores del primer modelo, contrastando los datos con los documentos originales de las historias clínicas del Reino Unido y Alemania y con las directrices de extracción. En la evaluación de informes de tomografía por emisión de positrones con antígeno de membrana específico de la próstata (PSMA PET), la sensibilidad del modelo revisor para detectar errores confirmados mediante revisión manual fue del 60% en el Reino Unido y del 75% en Alemania. Es decir, esta comprobación siguió pasando por alto algunos errores conocidos, por lo que la ausencia de una señal de alerta no puede considerarse una garantía de que los datos sean correctos.
Otra evaluación, que abarcó el manejo inicial, la cirugía y los episodios de recurrencia, examinó un total de 12 campos. El modelo revisor señaló predicciones con posibles errores en 9 de ellos; tras corregir el contenido señalado, las puntuaciones F1 de 8 campos aumentaron entre 0,4 y 6,5 puntos porcentuales. Esto ofrece indicios para priorizar la revisión manual, pero el resumen no detalló la proporción de falsos positivos, por lo que aún no puede determinarse cuánto trabajo adicional de comprobación generaría el proceso de revisión.
La información que actualmente puede contrastarse procede principalmente de los resúmenes de investigación y del anuncio del congreso publicados por la empresa. Todavía no se han indicado el tamaño de las muestras, las puntuaciones F1 absolutas de cada campo ni los intervalos de confianza, y tampoco se ha demostrado que el rendimiento se mantenga en otras instituciones sanitarias. Estos resultados respaldan una validación adicional de los procesos automatizados de organización de historias clínicas, pero aún no bastan para demostrar que puedan mejorar la atención a los pacientes o que los datos generados satisfagan directamente los requisitos de evaluación de medicamentos. Para respaldar el desarrollo de fármacos, sigue siendo necesario determinar, en función de la pregunta concreta de investigación, qué errores podrían cambiar las conclusiones y qué etapas requieren la intervención de expertos.