← Volver al inicio

Cuando la IA de auscultación pierde precisión progresivamente, ¿puede la revisión humana detectar los errores?

Un experimento de interpretación de sonidos cardíacos con 48 participantes reveló que, cuanto menos fiable era la IA, más empeoraba también el rendimiento diagnóstico de los usuarios; exigirles que emitieran primero su propio juicio antes de ver las recomendaciones tampoco mejoró los resultados. El estudio lleva el debate sobre la seguridad de la IA clínica de «si hay supervisión humana» a «cómo lograr que esa supervisión sea eficaz».

By SURL BioNews

Si una IA diagnóstica empieza a cometer errores, ¿puede detectarlos a tiempo la persona que revisa los resultados al final? Un estudio sobre auscultación cardíaca publicado en *npj Digital Medicine* plantea una advertencia sobre esta barrera de seguridad: cuando las recomendaciones del sistema perdían precisión progresivamente, el rendimiento de los participantes al interpretarlas también disminuía. Incluso mantener en manos humanas la decisión final podría no bastar para contener los efectos de los fallos del sistema.

Este experimento con asignación aleatoria utilizó la interpretación de sonidos cardíacos digitales como contexto y pidió a 48 participantes que determinaran si las grabaciones eran normales o anormales; la clasificación como anormal incluía sonidos patológicos del flujo sanguíneo o soplos cardíacos. El resumen del estudio se refiere colectivamente a los participantes como médicos, pero la sección de métodos precisa que 18 eran estudiantes de medicina de último año y que el resto incluía médicos residentes y médicos con mayor experiencia. Por tanto, los resultados reflejan el rendimiento de usuarios con distintos niveles de experiencia y no pueden equipararse directamente con la capacidad de los especialistas en cardiología.

El equipo de investigación estableció dos flujos de trabajo: un grupo veía primero la recomendación de la IA y después realizaba la interpretación; el otro debía enviar primero su propia clasificación antes de ver la opinión de la IA y luego podía modificar su respuesta. Este segundo procedimiento buscaba que los usuarios reflexionaran de forma independiente antes de recibir la recomendación, para reducir la posibilidad de que la respuesta de la máquina condicionara su juicio. La página de la publicación de los autores también confirma que este era el diseño central con el que el estudio evaluaba si la supervisión humana podía resultar eficaz.

Los resultados mostraron que el rendimiento diagnóstico empeoraba a medida que disminuía la fiabilidad de la IA; incluso cuando la interpretación independiente inicial de los participantes superaba a la IA en ese momento, el procedimiento de emitir un juicio previo no mejoró la eficacia de la supervisión. Otra discrepancia apareció en las percepciones subjetivas: la confianza de los participantes en su propio juicio disminuyó más rápidamente que su confianza en la IA. Esto sugiere que, ante recomendaciones cada vez menos fiables, los usuarios podrían no ajustar con la misma rapidez su grado de dependencia, aunque no permite determinar los mecanismos psicológicos de cada persona.

También hay materiales que permiten examinar externamente el procedimiento experimental. El repositorio de GitHub que el equipo de investigación hizo público contiene el programa utilizado para ejecutar el experimento, las instrucciones para los participantes, los estímulos audiovisuales y los archivos de los ensayos, lo que permite a otros investigadores examinar con más detalle cómo se presentaban las recomendaciones y cómo se organizaba la interpretación. Estos materiales ayudan a examinar y reproducir el procedimiento, pero la publicación del código por sí sola no significa que las conclusiones del estudio hayan sido replicadas y verificadas de forma independiente.

Este sigue siendo un experimento pequeño y controlado de clasificación de sonidos cardíacos, que no midió los resultados de la atención a pacientes reales ni permite inferir que todas las IA médicas producirán los mismos problemas. Para los hospitales y los desarrolladores, plantea una cuestión práctica: además de disponer una revisión humana, es necesario definir quién se encarga de detectar una pérdida persistente de precisión, cómo se reciben las señales de alerta y cuándo se debe intervenir. El estudio respalda la necesidad de seguir validando estos procedimientos de supervisión; para determinar qué medidas son realmente eficaces, todavía se necesitan pruebas en contextos clínicos.

References

  1. Northern Sydney Local Health District Libraries, reporting npj Digital Medicine
  2. Niels van Berkel
  3. IKI-Lab on GitHub