Salud digital · eu
La IA para interpretar sonidos cardíacos se equivoca cada vez más: ¿por qué la supervisión humana no logró mantener el rendimiento diagnóstico?
Un experimento aleatorizado con 48 participantes halló que exigirles una interpretación independiente antes de revelar las recomendaciones de la IA tampoco mejoró la eficacia de la supervisión. Este estudio de laboratorio recuerda que las salvaguardas de la IA médica requieren un diseño verificable.
Cuando los médicos y una IA diagnóstica discrepan, ¿qué deberían revisar: su propio juicio o la fiabilidad del sistema? Un experimento de interpretación de sonidos cardíacos muestra que, a medida que una IA simulada perdía precisión, también empeoraba el rendimiento de las interpretaciones finales de los participantes; exigirles que respondieran primero de forma independiente no mejoró los resultados. El estudio somete a una prueba más concreta la promesa de seguridad que supone la «supervisión humana».
El estudio, publicado el 13 de noviembre en *npj Digital Medicine*, distribuyó aleatoriamente a 48 participantes en dos grupos. Cada participante interpretó 40 grabaciones digitales de sonidos cardíacos para distinguir entre normales y anormales. El resumen del artículo se refiere al conjunto de participantes como médicos, pero la sección de métodos especifica que 18 eran estudiantes de medicina de último año y que el resto incluía médicos residentes y médicos con mayor experiencia. La página de publicaciones del coautor Niels van Berkel también recoge este estudio y su resumen.
La diferencia entre los dos grupos era el momento en que veían las recomendaciones de la IA: un grupo las veía antes de interpretar los sonidos; el otro primero realizaba su propia clasificación y evaluaba su confianza, y después veía las recomendaciones y decidía si modificaba sus respuestas. Los investigadores redujeron la tasa de aciertos de la IA en cuatro etapas: 90%, 60%, 50% y 0%. En la última etapa, también desincronizaron deliberadamente el sonido y las señales visuales para añadir indicios de un fallo del sistema.
En general, la tasa de aciertos de las interpretaciones asistidas por IA descendió de aproximadamente el 81% al 58%. Los participantes sí corrigieron algunas recomendaciones erróneas, pero en las etapas de menor fiabilidad de la IA, el rendimiento de la colaboración entre personas e IA siguió siendo inferior al nivel de referencia obtenido sin ver las recomendaciones de la IA. El procedimiento de responder primero de forma independiente no aportó el efecto protector que los investigadores habían previsto.
Otra pista surgió de los cambios en la confianza en las propias respuestas y en la IA: en el grupo que interpretaba primero de forma independiente, la confianza en sus propias respuestas disminuyó antes que la confianza en la IA, aunque su rendimiento al interpretar de forma independiente no se había deteriorado. Los autores plantean que el sistema podría gozar de una mayor autoridad percibida, lo que llevaría a las personas a dudar primero de sí mismas; sin embargo, esta explicación aún debe verificarse y no puede considerarse un mecanismo psicológico demostrado.
Estos resultados proceden de un laboratorio controlado y no pueden traducirse directamente en un riesgo de diagnóstico erróneo en la práctica clínica. Los participantes no tuvieron contacto con pacientes ni dispusieron de información adicional, como los signos vitales; además, el deterioro progresivo de la IA hasta equivocarse en todas sus respuestas tampoco representa las pérdidas de precisión sutiles e intermitentes que pueden presentar los sistemas reales. El estudio tampoco permite concluir que todos los procedimientos que exigen una evaluación independiente previa sean ineficaces.
La cuestión práctica que plantea es: ¿qué criterios debe cumplir una supervisión eficaz y quién debe verificar de forma continua que se cumplen? Los autores sostienen que, además del juicio clínico, deben considerarse las señales del sistema y la monitorización por parte de los hospitales y los desarrolladores. La eficacia de estas medidas aún debe evaluarse, pero el diseño de seguridad debe demostrar, como mínimo, si la colaboración entre personas e IA puede mantener la capacidad de interpretación previa cuando el sistema pierde precisión.