Salud digital · global
Cambiar la pregunta cambia el estadio del cáncer: un estudio revela la inestabilidad del razonamiento de la IA médica
Tres modelos de lenguaje fueron evaluados con casos clínicos y, con solo cambiar el formato de las instrucciones, la exactitud de la estadificación podía variar considerablemente. El estudio también examinó el interior de los modelos y descubrió que un método que mejora uno no necesariamente funciona en otro.
Cuando la IA ayuda a determinar el estadio del cáncer, la respuesta debería variar en función de la evidencia clínica. Sin embargo, un nuevo estudio descubrió que basta con cambiar el formato de la pregunta para que la exactitud de la estadificación fluctúe considerablemente; ante casos con información insuficiente, los modelos a veces siguen asignando un estadio de forma categórica. Para las instituciones que se preparan para incorporar IA médica, esto significa que responder bien durante las pruebas no basta para demostrar que las respuestas serán estables en el uso cotidiano.
El estudio, publicado el 31 de octubre en «npj Digital Medicine», evaluó GPT-5, MedGemma-27B-Text-IT y OpenBioLLM-Llama3-70B. Según el resumen de la revista, el equipo creó 3.035 pruebas de perturbación sistemática a partir de historias clínicas oncológicas en formato SOAP validadas por médicos, casos breves y casos de MIMIC, para comprobar si el razonamiento clínico de los modelos se mantenía coherente ante cambios en la entrada. Esta cifra representa variantes de prueba y no debe interpretarse como el número de pacientes.
El estudio informa de que los cambios en el formato de las instrucciones, por sí solos, provocaron variaciones superiores al 50% en la exactitud de la estadificación. No obstante, el resumen no detalla la exactitud inicial y final de cada comparación ni aclara si esa magnitud se refiere a una diferencia en puntos porcentuales, por lo que no debe interpretarse directamente como una caída de más de 50 puntos porcentuales en todos los modelos. Otra señal de alerta es más directa: los modelos pueden generar respuestas categóricas incluso cuando los datos clínicos son insuficientes para respaldar una conclusión.
El equipo también utilizó «autocodificadores dispersos» para intentar desentrañar cómo representan la información los modelos internamente. Esta herramienta de análisis se entrenó con 50.000 registros clínicos de MIMIC-IV, que sumaban 1.000 millones de tokens; los tokens son las unidades básicas con las que los modelos procesan el texto. Estos datos se utilizaron para entrenar la herramienta de análisis, con un propósito distinto al de las pruebas de perturbación de casos mencionadas anteriormente.
El análisis mostró una estructura jerárquica en las representaciones internas de MedGemma: las características de mayor intensidad tendían a codificar la identidad de las palabras, mientras que las de menor intensidad contenían significado contextual; en OpenBioLLM, la información se distribuía de manera más uniforme. El estudio también descubrió que estas diferencias afectan a la eficacia de las intervenciones de recuperación de información y razonamiento, lo que sugiere que un método de mejora eficaz para una arquitectura podría perjudicar el rendimiento al trasladarse a otra.
Una versión preliminar anterior de este trabajo se actualizó en febrero y su resumen describía 355 perturbaciones de casos oncológicos; la versión de la revista informa de 3.035 e incluye más formatos de casos. Ambas versiones respaldan conclusiones centrales similares, pero sus escalas de prueba no deben confundirse. La revista ofrece actualmente una versión de publicación anticipada que ha superado la revisión por pares y está pendiente de posteriores correcciones editoriales; además, el resumen no basta para determinar en qué situaciones es más probable que falle cada modelo.
Por ello, los investigadores sostienen que, antes de desplegar modelos de lenguaje médicos, su seguridad debe validarse en función de la arquitectura de cada uno. De estos resultados se infiere que las evaluaciones de aceptación deberían examinar, además de la exactitud global, la estabilidad ante distintos formatos de historias clínicas, información incompleta y medidas de apoyo. No obstante, este estudio presenta tareas basadas en casos y análisis internos de los modelos, por lo que no permite cuantificar el riesgo de daño en la atención clínica real; cómo incorporar este tipo de pruebas a los requisitos de compra de los hospitales y a las exigencias regulatorias sigue siendo una cuestión que debe resolverse antes de su implementación.