IA biomédica · us
¿Pierde la IA clínica frente a los modelos de propósito general? Dos evaluaciones llegan a conclusiones opuestas y ponen sobre la mesa la cuestión de la confianza en los chatbots médicos
Una comparación independiente muestra que la IA clínica diseñada específicamente para médicos no necesariamente supera a los modelos avanzados de propósito general; sin embargo, otra evaluación realizada por médicos sitúa a OpenEvidence muy por delante. La discrepancia no solo afecta a las clasificaciones, sino que también revela cómo las fuentes de datos, los métodos de puntuación y los conflictos de intereses condicionan la definición de «fiabilidad».
Los médicos recurren cada vez más a la IA para consultar indicios diagnósticos, opciones terapéuticas y la bibliografía más reciente. Pero ¿es realmente más fiable un sistema etiquetado como «específico para uso clínico» que un modelo conversacional de propósito general? Dos evaluaciones recientes ofrecen respuestas casi opuestas, lo que amplía el debate desde las capacidades de los modelos hasta una cuestión más fundamental: si las pruebas actuales pueden demostrar que una herramienta está preparada para incorporarse a la toma de decisiones médicas reales.
El estudio principal, publicado en 《Nature Medicine》, comparó OpenEvidence y UpToDate Expert AI con GPT-5.2, Gemini 3.1 Pro y Claude Opus 4.6. Las pruebas incluyeron 500 preguntas de MedQA, 500 tareas de HealthBench y 100 consultas clínicas reales; esta última parte recibió un total de 1.800 evaluaciones de 12 médicos clínicos que desconocían el origen de las respuestas. Los resultados mostraron que los tres modelos de propósito general formaban el grupo con mejor rendimiento, mientras que las dos herramientas clínicas quedaban rezagadas en términos generales.
La diferencia no equivale simplemente a afirmar que «los modelos de propósito general son más seguros». El estudio no encontró diferencias significativas entre los modelos en cuanto a contenido perjudicial y alucinaciones; los problemas más evidentes aparecieron en la usabilidad. Por ejemplo, UpToDate Expert AI registró una tasa de rechazo de aproximadamente el 19%, mientras que OpenEvidence obtuvo la puntuación más baja en claridad. En entornos clínicos con mucha carga de trabajo, que una respuesta sea completa, comprensible y capaz de respaldar directamente una decisión puede ser tan importante como responder correctamente una pregunta de conocimientos.
Sin embargo, esta evaluación también presenta puntos ciegos que no pueden ignorarse. Los autores reconocen que los bancos públicos de preguntas médicas podrían haber formado parte de los datos de entrenamiento de los modelos, lo que causaría contaminación del benchmark; además, parte de HealthBench fue evaluada con la participación de modelos avanzados, lo que podría favorecer respuestas cuyo estilo de expresión se asemejara al suyo. El hecho de que las herramientas clínicas fueran evaluadas mediante una interfaz de navegador tampoco reproduce necesariamente su flujo de trabajo habitual. El estudio ni siquiera comparó la calidad de las referencias, la trazabilidad de las respuestas ni la velocidad de respuesta, precisamente algunas de las principales razones por las que los médicos eligen herramientas especializadas.
La controversia se intensificó porque otro estudio publicado en arXiv llegó a la conclusión opuesta. Esa evaluación utilizó 620 preguntas enviadas realmente a OpenEvidence por médicos y 187 tareas de HealthBench, e invitó a 149 médicos en ejercicio a evaluarlas según su especialidad. En comparaciones por pares y con enmascaramiento, los médicos prefirieron OpenEvidence frente a GPT-5.5, Gemini 3.1 Pro o Claude Opus 4.8 en precisión, utilidad clínica, calidad de las fuentes, verificabilidad y exhaustividad; su ventaja frente a cada uno de los demás modelos fue de aproximadamente 25 a 39 puntos porcentuales.
Este vuelco también debe interpretarse dentro del diseño del estudio. Las preguntas del segundo estudio procedían de usuarios existentes de OpenEvidence, y OpenEvidence también participó en la planificación de la recopilación de datos y en la captación de médicos; esto podría hacer que la distribución de las preguntas se ajustara mejor a los escenarios de uso en los que destaca el producto. Por otra parte, su evaluación de la calidad de las fuentes y la utilidad clínica abordó dimensiones fundamentales que el primer estudio no había examinado. Por tanto, los dos resultados no necesariamente pueden reducirse a determinar cuál es correcto y cuál se equivoca; más probablemente muestran que distintos bancos de preguntas, versiones de modelos, interfaces de uso y criterios de puntuación pueden producir ganadores diferentes.
Lo que realmente falta es un marco común de validación más próximo a las consecuencias clínicas: que instituciones independientes utilicen casos y preguntas no publicados y sensibles al paso del tiempo, registren previamente los métodos de análisis, comprueben si las referencias respaldan las afirmaciones y hagan un seguimiento de si los errores modificarían las decisiones diagnósticas o terapéuticas. Obtener una puntuación alta en preguntas médicas es solo el punto de partida; hasta que se cumplan estas condiciones, ningún modelo, especializado o de propósito general, debería ganarse la confianza médica únicamente por ocupar un puesto en una clasificación.