← Volver al inicio

Casi 14.000 personas prueban consultas con IA: repreguntar sobre los síntomas se acerca más al razonamiento clínico que responder directamente

Google reclutó a casi 14.000 personas a través de Fitbit para probar cinco agentes conversacionales; los sistemas que repreguntaban activamente superaron al modo de chat convencional en el diagnóstico diferencial, pero los resultados clave se basaron únicamente en un pequeño número de participantes que declararon el diagnóstico recibido durante la atención médica, por lo que aún no son suficientes para sustituir a los médicos.

By SURL BioNews

Cuando la IA generativa empieza a responder preguntas de salud sobre dolores de cabeza, tos u opresión en el pecho, entre otros síntomas, la verdadera prueba no consiste solo en cuánto «sabe», sino en si puede actuar como en una consulta y, a partir de descripciones fragmentarias, preguntar por la evolución, los síntomas asociados y las señales de riesgo. Un amplio estudio de campo del equipo de investigación de Google muestra que los agentes conversacionales diseñados para recopilar activamente los antecedentes clínicos son, en efecto, más capaces que los modelos de chat convencionales guiados por el usuario de proponer diagnósticos diferenciales cercanos a la valoración clínica posterior. Sin embargo, estos resultados todavía están claramente lejos de demostrar que la IA pueda atender consultas de manera segura e independiente.

El estudio reclutó mediante la aplicación de Fitbit a 13.917 participantes que dieron su consentimiento y los asignó al azar a cinco agentes SymptomAI basados en Gemini Flash 2.0. Cuatro agentes dirigían la entrevista mediante preguntas fijas, preguntas flexibles o razonamiento dinámico, mientras que el otro grupo empleaba un modo guiado por el usuario, similar al de un chatbot convencional. Al terminar cada conversación, el sistema enumeraba varias causas posibles y recomendaciones sobre los siguientes pasos. Todo el contenido se utilizó exclusivamente para el análisis de la investigación y no constituía un diagnóstico médico formal.

La muestra realmente utilizable para comprobar los resultados fue mucho menor que el número total de participantes. Dos semanas después, solo 1.228 personas comunicaron un diagnóstico proporcionado por profesionales sanitarios, de las cuales 517 se incluyeron en una revisión de expertos clínicos que requirió más de 250 horas. Médicos con certificación de especialidad examinaron de forma ciega los textos de las mismas conversaciones y elaboraron sus propios diagnósticos diferenciales; posteriormente, revisores clínicos compararon las listas de la IA y de los médicos. La versión más reciente del preprint informa que las probabilidades de que el diagnóstico diferencial de SymptomAI coincidiera con el diagnóstico posterior declarado por el participante fueron aproximadamente 2,56 veces las de los médicos de control, una diferencia estadísticamente significativa. Esta cifra difiere ligeramente de las 2,47 veces indicadas en una versión anterior.

El mensaje más claro del estudio quizá no sea que «la IA supera a los médicos», sino la importancia de hacer preguntas de manera activa. Las cuatro estrategias dirigidas por agentes, que formulaban más preguntas sobre los antecedentes clínicos, mostraron un rendimiento similar y todas superaron claramente al modo básico de chat guiado por el usuario. En otras palabras, el valor de un sistema de conversación médica no depende únicamente del modelo que genera la respuesta final, sino también de si sabe qué preguntar, cuándo repreguntar y cómo convertir el lenguaje cotidiano incompleto en información clínica interpretable.

El equipo también vinculó los resultados de las conversaciones con más de 500.000 días de datos de dispositivos portátiles, que abarcaban casi 400 afecciones. Entre las personas que la IA clasificó como casos de infección respiratoria aguda, indicadores cardiovasculares, respiratorios, de temperatura cutánea y de sueño, entre otros, mostraron cambios a escala grupal en el periodo anterior y cercano al día de la conversación sobre los síntomas. Esta correspondencia temporal puede servir como evidencia de una asociación fisiológica, pero no demuestra, a la inversa, que el diagnóstico de la IA fuera correcto para cada participante; además, las señales de los dispositivos portátiles carecen en su mayoría de especificidad para enfermedades concretas.

Las limitaciones del estudio se concentran en la «respuesta de referencia» y en el método de comparación. Los participantes declararon por sí mismos los diagnósticos posteriores, que podrían estar afectados por la memoria, la disposición a buscar atención médica y el sesgo de selección. De los casi 14.000 participantes, solo 517 casos se incluyeron en la revisión principal de expertos. Los médicos independientes también solo podían leer los registros textuales generados a partir de las preguntas de la IA, sin poder formular sus propias preguntas, examinar a los pacientes ni consultar sus historias clínicas. Por tanto, esta comparación no puede equipararse a enfrentar a la IA con una consulta clínica completa. Otro análisis independiente señaló que la tasa de coincidencia entre sus cinco primeros diagnósticos era de aproximadamente el 70 %, lo que aún deja un margen de error que no puede ignorarse.

SymptomAI es actualmente un prototipo de investigación experimental, no un producto de diagnóstico clínico autorizado. Si en el futuro este tipo de sistema se incorpora a los procesos asistenciales, además de ensayos clínicos prospectivos y validaciones en poblaciones externas, será necesario abordar cuestiones como la clasificación incorrecta de pacientes, la omisión de síntomas urgentes, la atribución de responsabilidades y la gobernanza de los datos sanitarios. La contribución más convincente de este estudio es trasladar la evaluación de la IA médica desde casos clínicos estructurados hasta las conversaciones ambiguas y fragmentarias que las personas realmente mantendrían. Muestra una mejor manera de preguntar, pero todavía no ofrece una herramienta diagnóstica en la que se pueda delegar con confianza.

References

  1. Google Research
  2. arXiv
  3. Evidence Triage