← Volver al inicio

La IA diagnóstica pierde precisión: ¿puede la supervisión humana detectar los errores? Un experimento con sonidos cardíacos revela sus límites

Un experimento de interpretación de sonidos cardíacos con 48 participantes encontró que, cuando las recomendaciones de la IA perdían precisión, también disminuía la exactitud de la colaboración entre humanos e IA; ni siquiera exigir a los participantes que emitieran primero su propio juicio permitió mantener el rendimiento de forma consistente. Esto plantea una señal de alerta sobre la supervisión humana de la IA médica, aunque aún queda por validar su aplicación en consultas reales.

By SURL BioNews

Cuando la IA médica se equivoca, dejar la decisión final en manos humanas parece una barrera de seguridad intuitiva. Pero, ante un sistema presentado inicialmente como muy preciso que luego pierde exactitud de manera progresiva, ¿pueden los usuarios advertirlo a tiempo? Un experimento con asignación aleatoria a grupos, publicado el 13 de noviembre en *npj Digital Medicine*, encontró que, aunque los participantes podían corregir algunas recomendaciones erróneas, su rendimiento final de interpretación disminuía a medida que se reducía la fiabilidad de la IA. Ni siquiera «emitir primero un juicio propio y después consultar la IA» ofreció una protección consistente.

El estudio se centró en la auscultación cardíaca: identificar si los sonidos cardíacos grabados eran normales o anormales. Las anomalías incluían sonidos patológicos del flujo sanguíneo y soplos cardíacos; no se trataba de un diagnóstico completo de enfermedades cardíacas. De los 48 participantes, 18 eran estudiantes del último año de medicina, 19 eran médicos residentes y 11 eran médicos con más experiencia. Cada participante interpretó 40 grabaciones de sonidos cardíacos. Los dos grupos tenían 24 participantes cada uno: un grupo veía primero la recomendación de la IA, mientras que el otro registraba primero su propio juicio y después consultaba la recomendación y decidía si modificarlo.

Para controlar el grado de pérdida de precisión del sistema, el equipo de investigación modificó manualmente las recomendaciones de la IA, de modo que sus porcentajes de acierto en las cuatro fases fueran, sucesivamente, del 90%, 60%, 50% y 0%. El porcentaje medio de aciertos de los participantes con ayuda de la IA cayó del 81.45% en la primera fase al 58.33% en la última. Aunque en las tres últimas fases el rendimiento conjunto de humanos e IA superó al de la IA en esas mismas fases, fue inferior al rendimiento del grupo de interpretación independiente antes de consultar las recomendaciones. Esto indica que la intervención humana solo pudo compensar parte de la pérdida.

Exigir una reflexión independiente previa pretendía evitar que la respuesta de la IA se convirtiera en el punto de partida del juicio, pero en este experimento no se observó una mejora global. Al terminar, solo el 12.5% de los participantes mencionó en sus respuestas haber advertido una disminución de la fiabilidad del sistema; incluso al preguntarles expresamente qué había cambiado en el sistema, la proporción solo aumentó al 37.5%. Esto pone de relieve la distancia entre dos cosas: corregir un error concreto no implica necesariamente haber reconocido que el sistema en su conjunto está fallando.

Los investigadores plantean que, cuando los usuarios discrepan de la IA, podrían cuestionar primero su propio juicio. En el grupo que realizaba primero una interpretación independiente, el rendimiento sin ayuda de la IA se mantuvo estable, pero la confianza en el propio juicio disminuyó antes; la confianza en la IA solo mostró una disminución significativa en fases posteriores. Sin embargo, esto sigue siendo una posible explicación de los resultados observados y aún no basta para establecer los mecanismos psicológicos subyacentes.

El estudio se registró en AsPredicted en octubre de 2023. En ese momento se declaró que todavía no se habían recopilado datos y se preveía reclutar a 48 participantes para comparar el orden de presentación de las recomendaciones de la IA, distintos niveles de exactitud y si los participantes advertían el deterioro. El registro público permite contrastar el plan original, pero los niveles de exactitud previstos para las dos primeras fases difieren entre el registro previo y el artículo definitivo. Al interpretar los resultados, debe distinguirse entre el diseño previsto y lo que se ejecutó realmente.

El experimento también tiene límites claros: utilizó grabaciones y recomendaciones controladas, sin interacciones reales entre médicos y pacientes ni información clínica completa. La pérdida de precisión se intensificó siguiendo una secuencia fija y, en la fase final, se añadió además una discordancia entre las señales sonoras y visuales. Por tanto, no puede descartarse un efecto del orden, y resulta difícil aislar el impacto de cada una de las interferencias de la última fase. Estos resultados no pueden traducirse directamente en tasas de diagnóstico erróneo en consulta ni representar el rendimiento de toda la IA médica.

Para el despliegue y la regulación de la IA médica, el estudio plantea una pregunta: ¿qué estándares debe cumplir la supervisión humana y cómo puede demostrarse su eficacia? Los autores sugieren que, además del juicio del personal clínico, deberían considerarse los avisos del sistema y la monitorización continua por parte de hospitales y desarrolladores. Aún debe comprobarse en los flujos de trabajo clínicos reales si estas medidas pueden constituir una barrera de seguridad más fiable.

References

  1. npj Digital Medicine via PubMed
  2. npj Digital Medicine
  3. AsPredicted