← Volver al inicio

Un breve recordatorio de seguridad puede reducir los errores de la IA clínica, pero aún deja cerca de un 10% de elecciones peligrosas

Ante solicitudes de omitir pruebas de seguimiento o suspender medicamentos antes de tiempo sin motivos suficientes, ¿la IA las aceptará sin cuestionarlas? Un estudio con más de diez millones de respuestas muestra que los recordatorios breves pueden reducir las elecciones potencialmente perjudiciales, pero no bastan para demostrar que los sistemas puedan utilizarse de forma segura en la atención sanitaria.

By SURL BioNews

Omitir análisis de sangre de seguimiento necesarios para reducir la carga de trabajo o suspender antibióticos antes de tiempo sin motivos clínicos suficientes son solicitudes peligrosas que la IA médica puede recibir. A medida que los modelos de lenguaje comienzan a ayudar en la atención sanitaria, la prueba de seguridad ya no consiste solo en saber si poseen conocimientos médicos, sino también en si pueden reconocer los riesgos de las instrucciones y negarse a cumplirlas.

La Escuela de Medicina Icahn de Mount Sinai anunció el 8 de octubre un estudio que evaluó si añadir breves recordatorios de seguridad a las instrucciones podía modificar las elecciones de los modelos. Según el comunicado de la institución y el mismo texto publicado en Newswise, 19 de los 20 modelos evaluados redujeron sus elecciones potencialmente perjudiciales. El estudio se publicó el 26 de septiembre en *Communications Medicine*, pero los resultados miden respuestas en situaciones simuladas, no la proporción de pacientes que sufrieron daños reales.

El equipo utilizó 501 situaciones simuladas derivadas de 50 conjuntos de plantillas y 100 casos adaptados de registros de alta hospitalaria desidentificados, con los que obtuvo más de 10 millones de respuestas en total. Los modelos debían responder eligiendo entre opciones que incluían acciones seguras e inseguras; el estudio también probó tres tipos de recordatorios breves de seguridad, repitió cada combinación de condiciones 10 veces y varió aleatoriamente el orden de las respuestas para reducir la influencia de una respuesta aislada o de la posición de las opciones.

Sin recordatorios, la proporción de acciones potencialmente perjudiciales elegidas por los modelos fue del 16,6%; con recordatorios, descendió al 10,1%, una diferencia de 6,5 puntos porcentuales. Esto muestra que un breve texto que pide al modelo comprobar la seguridad, verificar o remitir las solicitudes peligrosas al personal adecuado puede modificar la orientación de sus respuestas. Sin embargo, incluso después de la mejora, aproximadamente una de cada diez respuestas siguió perteneciendo a la categoría de potencialmente perjudiciales, lo que deja una brecha considerable para alcanzar una asistencia clínica fiable.

Según el resumen de la revista, los casos adaptados de registros hospitalarios resultaron especialmente difíciles: las elecciones potencialmente perjudiciales descendieron del 46,6% al 24,5%, pero siguieron representando casi una cuarta parte tras añadir los recordatorios. Estos resultados recuerdan a los desarrolladores que un mejor desempeño de los modelos en situaciones simplificadas no permite concluir directamente que sean igual de fiables en tareas más cercanas a las historias clínicas; las diferencias en el diseño de los dos tipos de casos también limitan la comparación directa entre sus porcentajes.

Los más de diez millones de respuestas permitieron examinar repetidamente el comportamiento de los modelos, pero no significan que el estudio abarcara a más de diez millones de pacientes ni una cantidad equivalente de casos independientes. La prueba utilizó opciones predefinidas y tampoco hizo un seguimiento de cómo el personal sanitario incorporaba las respuestas, de las actuaciones posteriores ni de los resultados de los pacientes. Por ello, no permite estimar el riesgo clínico tras la implementación, y mucho menos interpretar la tasa de errores al elegir opciones como una tasa de incidentes médicos.

El equipo investigador subrayó que los recordatorios de seguridad no pueden sustituir la revisión clínica y propuso realizar pruebas automatizadas de seguridad de forma repetida durante el desarrollo y la actualización de los modelos. Para las instituciones sanitarias, este estudio ofrece una medida de protección que puede evaluarse, pero también deja una pregunta más práctica: cuando se entrelazan la presión de trabajo, el contexto de la historia clínica y las conversaciones de varios turnos, aún debe comprobarse en entornos cercanos a la atención real si la IA puede reconocer de forma sostenida las solicitudes peligrosas.

References

  1. Icahn School of Medicine at Mount Sinai
  2. Mount Sinai Health System via Newswise