← Volver al inicio

Cuando la IA de auscultación pierde precisión, ¿pueden los médicos detectarlo a tiempo?

Un experimento aleatorizado con 48 participantes observó que el rendimiento en la interpretación de sonidos cardíacos disminuía a medida que se reducía la fiabilidad de la IA; exigir que los participantes emitieran primero su propio juicio tampoco mejoró los resultados globales, lo que pone de relieve la necesidad de medidas de seguridad más concretas para la supervisión humana.

By SURL BioNews

Cuando la IA médica se equivoca, a menudo se confía en los médicos como última línea de defensa. Pero determinar si una recomendación concreta es fiable y advertir que todo el sistema está perdiendo precisión son dos retos distintos. Un estudio publicado el 13 de noviembre en *npj Digital Medicine* utilizó un experimento de simulación de auscultación cardíaca para mostrar que contar con supervisión humana no necesariamente basta para frenar recomendaciones diagnósticas que se deterioran de forma continua.

El estudio incluyó a 48 médicos y estudiantes del último año de Medicina, asignados aleatoriamente a dos grupos. Cada participante interpretó 40 grabaciones de sonidos cardíacos procedentes del conjunto de datos público CirCor, clasificándolas como normales o anormales; las anomalías incluían soplos cardíacos. Un grupo veía primero la recomendación de la IA, mientras que el otro respondía de forma independiente antes de consultar la recomendación y decidir si modificaba su respuesta.

Los investigadores ajustaron deliberadamente las respuestas del sistema para que su tasa de aciertos descendiera sucesivamente al 90%, 60%, 50% y 0%; en la última fase, también hicieron que las señales sonoras y visuales no coincidieran. Por tanto, el experimento evaluaba, en condiciones controladas, cómo responden las personas a un sistema que pierde precisión, y no documentaba el proceso de fallo espontáneo de un producto clínico concreto.

A medida que la IA perdía precisión, la tasa media de aciertos de los participantes tras adoptar sus recomendaciones cayó de aproximadamente el 81% al 58%. Exigir una interpretación independiente previa no aportó una mejora global. Después del experimento, solo el 12,5% mencionó espontáneamente que la fiabilidad del sistema había disminuido; incluso cuando se les preguntó explícitamente qué había cambiado en el sistema, solo el 37,5% mencionó esa reducción de la fiabilidad.

Los participantes aún podían corregir algunos errores: en las fases de menor fiabilidad de la IA, las interpretaciones finales superaron a la propia IA, pero quedaron por debajo del rendimiento sin asistencia de IA que obtuvo en esas mismas fases el grupo que respondía primero de forma independiente. Esto también recuerda que, para evaluar la eficacia de la supervisión, no basta con preguntar si las personas superaron al sistema defectuoso; también hay que comprobar si la incorporación de la IA permitió conservar su capacidad previa.

El alcance de los resultados es limitado. Se trata de un experimento pequeño, sin interacciones reales de consulta ni información clínica completa. La rápida pérdida de precisión en un orden fijo, junto con la discordancia audiovisual de la última fase, también dificulta separar los efectos de cada factor y no permite extrapolar directamente el riesgo de errores diagnósticos clínicos o de daños a los pacientes.

A partir de estos resultados, los autores sostienen que la responsabilidad por la seguridad debe extenderse a los hospitales y los desarrolladores, combinando la monitorización del sistema con el juicio clínico. Para validar la IA médica, además de medir la precisión del modelo, también es necesario comprobar si, cuando empieza a perder precisión, los usuarios y las organizaciones tienen la capacidad de detectarlo e intervenir a tiempo.

References

  1. npj Digital Medicine