Razonamiento integrado, del electrocardiograma a la historia clínica: QoQ-Med3 pone a prueba la IA médica multimodal

El juicio clínico rara vez se basa únicamente en una imagen o un fragmento de una historia clínica. Los médicos suelen tener que integrar electrocardiogramas, imágenes radiológicas, registros de pruebas e informes escritos para identificar los aspectos que concuerdan o se contradicen entre sí. Un estudio publicado en 《npj Digital Medicine》 presenta QoQ-Med3, un intento de permitir que un único modelo fundacional abarque estas modalidades de datos, en lugar de utilizar un sistema de IA distinto para cada tipo de prueba.

El equipo de investigación desarrolló dos versiones: QoQ-Med3 y QoQ-Med3-MIMIC, esta última entrenada adicionalmente con datos de MIMIC-IV. El modelo publicado se basa en Qwen3-VL-8B-Instruct y tiene aproximadamente 9.000 millones de parámetros. El modelo emplea un método de aprendizaje por refuerzo que ajusta las recompensas según el ámbito clínico y la dificultad de los datos, con el objetivo de evitar que las imágenes o enfermedades más comunes dominen el entrenamiento y de proporcionar suficientes señales de aprendizaje a ámbitos con menos datos, como la ecografía y la mamografía.

La versión general utiliza aproximadamente 2,61 millones de muestras del conjunto de datos CLIMB, que abarcan electrocardiogramas y datos bidimensionales y tridimensionales, como radiografías de tórax, mamografías, dermatoscopias, imágenes de patología, fondos de ojo, ecografías, resonancias magnéticas y tomografías computarizadas. La versión MIMIC incorpora además historias clínicas electrónicas desidentificadas de unidades de cuidados intensivos y servicios de urgencias, lo que permite al modelo responder preguntas integrando señales electrocardiográficas, radiografías de tórax y registros escritos en contextos clínicos más extensos.

Según el artículo, QoQ-Med3 alcanzó una exactitud equilibrada del 71,3% tras agregar múltiples tareas, con una puntuación F1 de 0,349, y superó en conjunto a los modelos abiertos y cerrados incluidos en el estudio, entre ellos GPT-4o; las mejoras fueron especialmente evidentes en ecografía y mamografía. Sin embargo, estas cifras proceden de una evaluación combinada de diferentes conjuntos de datos y tareas de clasificación, por lo que no pueden interpretarse directamente como una exactitud diagnóstica del 71,3% en entornos clínicos. La puntuación F1 también indica que aún existe un margen considerable de mejora en las clases minoritarias y las tareas complejas.

Las pruebas con datos de distintos hospitales constituyen otro aspecto central del trabajo. La versión entrenada únicamente con datos públicos logró transferirse a los datos reservados de MIMIC-IV que no participaron en el entrenamiento, así como a los datos privados de PMAP del Hospital Johns Hopkins; el estudio también informó que, tras el entrenamiento, la tasa de alucinaciones provocadas por información externa insuficiente disminuyó un 44,4%. Estos resultados respaldan que el modelo aprendió algunas representaciones transferibles, pero el rendimiento entre conjuntos de datos no equivale a la fiabilidad ante pacientes reales, diferencias entre equipos y registros incompletos.

Las dos versiones del modelo, con aproximadamente 9.000 millones de parámetros cada una, se han publicado bajo licencia MIT y ofrecen diversos marcos de inferencia y métodos de ejecución en contenedores para facilitar que otros equipos reproduzcan y examinen los resultados. Al mismo tiempo, el equipo de investigación las define explícitamente como una versión preliminar para investigación: la evidencia disponible procede principalmente de datos retrospectivos y de tareas predefinidas de preguntas y respuestas o de clasificación. Aún faltan ensayos clínicos prospectivos, evaluaciones de flujos de trabajo en colaboración con médicos y una validación integral de la calibración, los sesgos poblacionales, la privacidad y la responsabilidad por errores; por ello, no son adecuadas para su implementación clínica directa.