← Volver al inicio

Detener la historia clínica antes del diagnóstico: Protege presenta una evaluación del razonamiento diagnóstico de la IA

256 casos revisados por médicos permiten a la IA identificar enfermedades a partir de historias clínicas en las que aún no figura la respuesta. Esta prueba se aproxima más a las limitaciones de información del proceso diagnóstico, pero todavía se necesitan pruebas clínicas para determinar si puede acortar el recorrido de los pacientes en busca de atención.

By SURL BioNews

Las pistas de una enfermedad pueden estar ya dispersas en los registros de consultas previas y los informes de laboratorio, sin que todavía se hayan integrado en un diagnóstico claro. ¿Puede la IA detectar estas señales? El 21 de octubre, Protege presentó la evaluación Disease Odyssey, que recorta las historias clínicas antes de que se documente el diagnóstico para comprobar si los modelos pueden identificar enfermedades en desarrollo. Así, las pruebas de IA médica pasan del conocimiento médico a la interpretación de historias clínicas concretas.

Esta evaluación retrospectiva reúne 256 casos aceptados por médicos, abarca 129 categorías diagnósticas de la ICD-10 y compara cuatro modelos de vanguardia. Según su documentación en GitHub, se eliminaron los datos del día en que se registró por primera vez el diagnóstico objetivo y todos los posteriores. Los resultados de laboratorio solo se conservaron si tanto la fecha de toma de la muestra como la fecha del resultado eran anteriores al punto de corte. Este límite temporal busca evitar que los modelos respondan utilizando información que aún no estaba disponible en ese momento.

La misma historia clínica se presenta en dos formatos: respuesta libre y elección entre seis opciones. Cada modelo responde tres veces en cada formato. Protege afirma que los cuatro modelos obtuvieron mejores resultados en las preguntas de opción múltiple que en las de respuesta libre. En otro anuncio sobre el lanzamiento del servicio, la empresa resumió la exactitud diagnóstica en un intervalo del 51% al 67% y mencionó enfermedades como la apnea del sueño y la anemia. Estas cifras describen el rendimiento bajo unas condiciones específicas de selección de casos y puntuación; no pueden interpretarse directamente como la exactitud en las consultas habituales.

La evaluación también pone de manifiesto que no siempre es fácil definir qué constituye una «respuesta incorrecta». Protege presenta un caso de apnea del sueño en el que ninguno de los modelos acertó el diagnóstico de referencia en el formato de respuesta libre, aunque los médicos revisores consideraron que las otras enfermedades propuestas también tenían una base razonable. Una historia clínica puede respaldar varias interpretaciones a la vez; exigir que el modelo acierte únicamente un diagnóstico documentado posteriormente puede hacer que un juicio clínico razonable se contabilice como un error.

Para permitir el examen externo del método de evaluación, Protege publicó en GitHub las instrucciones completas de ambos formatos, así como las instrucciones para el modelo de lenguaje de gran tamaño utilizado para evaluar las respuestas libres y la documentación de puntuación. Sin embargo, no se publicaron las historias clínicas, los diagnósticos de referencia, las opciones de respuesta, las revisiones médicas ni las respuestas de los modelos. Además, el conjunto de referencia está limitado a la evaluación y no puede utilizarse para entrenamiento ni ajuste fino. Publicar las reglas de las preguntas ayuda a comprender cómo se realiza la medición, pero los investigadores externos siguen sin poder reproducir íntegramente los resultados utilizando únicamente el repositorio.

Disease Odyssey también forma parte del nuevo servicio de evaluación independiente de IA médica de Protege. La empresa afirma que los datos proceden de su red de proveedores de atención médica, que expertos clínicos revisan las preguntas y las respuestas, y que procura evitar la superposición entre los datos de evaluación y los datos de entrenamiento de los modelos. Estas son explicaciones del proveedor de la evaluación sobre su proceso; todavía no pueden considerarse una prueba externa de que se haya descartado por completo esa superposición.

Para los pacientes, la verdadera prueba va más allá de las puntuaciones: una vez que la IA propone pistas, ¿estas conducen a pruebas adecuadas y reducen las demoras? ¿Podrían también aumentar las falsas alarmas y las intervenciones innecesarias? Los casos actuales han sido seleccionados y no constituyen una muestra representativa de todas las situaciones de consulta. Tampoco se ha puesto a prueba la colaboración entre médicos e IA en la atención continuada. Esta evaluación ofrece un punto de partida concreto para examinar la capacidad diagnóstica; determinar si puede mejorar los resultados de los pacientes aún requiere seguir cómo las predicciones modifican las decisiones médicas reales.

References

  1. Protege
  2. Protege-AI on GitHub
  3. Protege