IA biomédica · global
Una IA dermatológica que explica sus decisiones parece más fiable, pero también puede inducir más a error: un estudio revela el sesgo de automatización
Un experimento con 623 miembros de la población general y 153 médicos de atención primaria muestra que una IA diagnóstica que tiene en cuenta la equidad entre tonos de piel puede mejorar el rendimiento general; sin embargo, cuando el modelo se equivoca, las explicaciones fluidas de un LLM son las que más fácilmente conducen a los usuarios no especializados hacia una respuesta incorrecta.
Si una IA médica no solo ofrece una respuesta, sino que además expone un razonamiento aparentemente plausible, en principio debería resultar más fácil evaluar si es fiable. Sin embargo, un estudio dermatológico publicado en 《Nature Medicine》 señala que las explicaciones también pueden amplificar la capacidad de persuasión: cuando el modelo acierta, ayudan a juzgar; pero, cuando se equivoca, hacen que a las personas sin conocimientos especializados les resulte más difícil resistirse a una recomendación incorrecta.
El equipo de investigación realizó dos experimentos en línea. Un total de 623 participantes sin formación médica distinguieron entre melanomas y lunares benignos; por su parte, 153 médicos de atención primaria formularon diagnósticos diferenciales de dermatitis atópica, pitiriasis rosada, enfermedad de Lyme y linfoma cutáneo de células T. Cada persona evaluó 12 imágenes clínicas, la mitad de tonos de piel oscuros y la otra mitad de tonos claros, y fue asignada aleatoriamente a una de cuatro modalidades de asistencia mediante IA: mostrar únicamente la predicción y la puntuación de confianza, un mapa de calor que señalaba regiones de la imagen, casos similares o una explicación textual generada por un modelo multimodal de lenguaje de gran tamaño. El estudio también incluyó a 320 estudiantes de medicina para ayudar a comparar las diferencias según la experiencia.
El modelo diagnóstico subyacente se entrenó con restricciones de equidad. En el modelo utilizado para clasificar melanomas y lunares, la diferencia de exactitud equilibrada entre tonos de piel oscuros y claros se redujo de los 9,1 puntos porcentuales del modelo de referencia a 2,1 puntos porcentuales; la asistencia de la IA también elevó la exactitud media de la población general del 69,7 % al 75,8 %. Tras recibir las recomendaciones de la IA, también mejoró el rendimiento diagnóstico de los médicos respecto de las cuatro principales enfermedades cutáneas y disminuyó la brecha preexistente entre tonos de piel. Los resultados muestran que reducir la inequidad no puede depender únicamente de las explicaciones de la interfaz; resulta aún más decisivo que el propio modelo mantenga un rendimiento relativamente equilibrado entre los distintos tonos de piel.
El riesgo apareció cuando la IA se equivocaba. Entre la población general, las explicaciones textuales del LLM produjeron una mejora de 13,4 puntos porcentuales cuando la predicción era correcta, superior a la de las otras tres modalidades de presentación; pero, cuando la predicción era incorrecta, la exactitud también cayó 21,1 puntos porcentuales, el mayor descenso de todas las modalidades. Los investigadores consideran que un razonamiento expresado con fluidez y que alude a características de la piel, aunque se base en indicios visuales ambiguos o incompletos, puede llevar a los usuarios a confundir «parece verdadero por cómo está explicado» con «el juicio es correcto».
Los médicos de atención primaria mostraron mayor resistencia a las recomendaciones incorrectas: su rendimiento final apenas se vio perjudicado por predicciones erróneas de la IA con ninguna de las modalidades de explicación. Las explicaciones del LLM tampoco produjeron la mayor mejora de exactitud; su principal beneficio fue hacer que el grado de confianza de los médicos coincidiera mejor con el hecho de haber respondido correctamente. Los estudiantes de medicina tendieron más que los médicos con experiencia a seguir a la IA, lo que sugiere que la formación profesional puede ofrecer una línea de defensa, aunque no constituye una garantía absoluta. Cuando el sistema mostraba la respuesta de la IA antes de que los usuarios formularan su propio juicio, la tendencia a aceptarla aumentaba en general en ambos grupos; entre los médicos también se observó un efecto de anclaje más marcado ante las explicaciones del LLM.
Estos resultados aún no pueden equipararse directamente con la eficacia en consultas clínicas reales. Las tareas de los dos experimentos no eran iguales, por lo que las cifras de la población general y de los médicos no pueden compararse directamente; además, cada participante solo examinó 12 imágenes y no dispuso de contexto clínico como la edad, los antecedentes médicos o los síntomas. Los casos de prueba también se seleccionaron deliberadamente para controlar la proporción de aciertos y errores de la IA, mientras que las explicaciones del LLM estuvieron condicionadas por instrucciones específicas y por un método de generación única. Por tanto, el estudio no respalda la idea de que «añadir un párrafo explicativo aumenta la seguridad», sino que las interfaces de IA médica deberían permitir que los usuarios formen primero su propio juicio, señalar claramente la incertidumbre e incorporar la revisión de un segundo profesional cuando la IA modifique sustancialmente la evaluación inicial.