La IA se acerca a los expertos al leer artículos sobre cáncer, pero detectar los fallos de los estudios sigue siendo lo más difícil

La literatura médica crece rápidamente, y lo verdaderamente escaso ya no es solo el tiempo de lectura, sino la atención profesional necesaria para determinar si la evidencia puede sustentar las conclusiones. Un estudio revisado por pares y publicado simultáneamente en arXiv muestra que, en evaluaciones altamente estructuradas de literatura oncológica, el desempeño de los grandes modelos de lenguaje puede, en algunos aspectos, acercarse al de los expertos del área; sin embargo, cuando la tarea profundiza en el diseño de los estudios y sus contradicciones internas, las debilidades de las máquinas se hacen más evidentes.

El estudio utilizó como caso la posible relación entre el «virus similar al virus del tumor mamario del ratón» (MMTV-like virus) y el cáncer de mama. Seleccionó 24 artículos y diseñó 77 preguntas de extracción de evidencia y evaluación crítica, que incluían preguntas de opción múltiple, escalas, selección múltiple y respuestas de texto libre. Los modelos evaluados fueron Gemini 2.5 Pro, Gemini 2.5 Flash, GPT-5 y GPT-5 Nano. Posteriormente, el equipo de investigación comparó el grado de concordancia de las respuestas entre los propios expertos y entre los expertos y los modelos.

Los resultados mostraron que las distribuciones de las puntuaciones de concordancia obtenidas por GPT-5 y GPT-5 Nano eran estadísticamente indistinguibles de la distribución observada entre expertos. Esto no significa que los modelos fueran equivalentes a los expertos en cada pregunta, y mucho menos que ya posean la capacidad de juzgar de forma independiente la evidencia médica; indica que, dentro de este marco de evaluación limitado a un tema y estructurado de antemano, los patrones generales de respuesta de ambos modelos se situaron dentro del rango generado por las diferencias entre expertos.

También se observaron distintos sesgos entre los modelos. Los dos modelos Gemini fueron más permisivos al aplicar los criterios de carcinogénesis microbiana, lo que podría facilitar que asociaciones con evidencia insuficiente superaran el umbral. El contenido inventado fue poco frecuente en general, pero ocurrió con mayor frecuencia en los modelos más pequeños; aunque la concordancia global parezca favorable, unos pocos errores, si afectan a estudios clave o criterios fundamentales, todavía podrían distorsionar la orientación de una revisión sistemática.

Las dificultades más persistentes se concentraron en la evaluación metodológica y en la identificación de afirmaciones contradictorias dentro del texto completo de un mismo artículo. Ambas tareas requieren comprender el diseño experimental, determinar si los controles son adecuados y si las inferencias exceden la evidencia, además de relacionar información dispersa entre las secciones de métodos, resultados y discusión. Estas son precisamente las partes de la revisión de evidencia biomédica más difíciles de reducir a una simple extracción de datos.

Este estudio respalda el uso de grandes modelos de lenguaje para el cribado preliminar, la extracción de campos o como segundo evaluador, ayudando a gestionar un volumen de literatura que resulta difícil seguir exhaustivamente con recursos humanos; pero aún no demuestra que los modelos puedan sustituir a los expertos. La prueba abarcó únicamente una cuestión sobre la relación entre un microorganismo y el cáncer y 24 artículos, y tampoco respondió si los modelos podrían mantener su desempeño con otras enfermedades, literatura de distinta calidad o procesos reales de revisión sujetos a actualizaciones continuas. Los investigadores plantearon la posibilidad de una estrategia multimodelo, pero antes de incorporarla a la toma de decisiones biomédicas siguen siendo necesarias una validación externa más amplia, el seguimiento de errores y mecanismos de revisión humana.