Cuando la IA médica se enfrenta a ataques con datos falsos: una prepublicación sobre SAMD intenta llevar el riesgo a la mesa de diseño desde el inicio

Los dispositivos médicos con IA se parecen cada vez más a una parte del entorno clínico: leen imágenes, señales o datos de pacientes, y luego entregan los resultados a médicos o flujos de atención. Pero si los datos que entran en el modelo son alterados en el momento de la inferencia, el riesgo ya no es solo un sesgo algorítmico, sino la posibilidad de que todo el sistema médico sea conducido hacia una evaluación equivocada.

Una prepublicación presentada a arXiv el 28 de mayo introduce SAMD, una herramienta automatizada para analizar escenarios de ataques de “inyección de datos falsos” en dispositivos médicos de IA/aprendizaje automático. El equipo de investigación no se centra en la contaminación de los datos de entrenamiento, sino en el uso real del dispositivo, cuando un atacante envía datos erróneos al modelo a través de componentes vulnerables, lo que podría causar diagnósticos erróneos o tratamientos inadecuados.

El enfoque central de SAMD consiste en tratar el dispositivo médico con IA como un sistema de control y adoptar métodos de análisis de seguridad de sistemas como STPA-Sec para revisar, desde la fase de diseño, las relaciones entre sensores, componentes de software, interfaces de comunicación y motores de aprendizaje automático. La herramienta combina bases de datos de vulnerabilidades y modelos de lenguaje de gran tamaño: primero identifica los componentes técnicos en la documentación del dispositivo, luego busca vulnerabilidades conocidas relacionadas y, por último, genera posibles rutas y pasos de ataque.

El equipo de investigación utilizó como estudios de caso cinco dispositivos médicos de IA/ML que ya habían recibido FDA cleared en Estados Unidos. Según la prepublicación, SAMD alcanzó un 100% de precision al identificar las tecnologías objetivo de los dispositivos en los documentos de los casos; al recuperar vulnerabilidades conocidas relacionadas con esas tecnologías, la precision fue del 63.2%; al generar escenarios de ataque dirigidos a modelos de aprendizaje automático, el equipo evaluó su pertinencia y corrección en un 95.3%, con un tiempo máximo de aproximadamente 191.64 segundos para un solo caso.

Estas cifras indican que SAMD se parece más a una herramienta temprana de inventario de riesgos que a una prueba directa de seguridad clínica. Su base de validación son cinco casos y documentación de dispositivos, lo que no equivale a pruebas de ataque en entornos hospitalarios reales ni permite inferir que los dispositivos con autorización FDA cleared tengan actualmente vulnerabilidades explotables de forma inmediata. En especial, los escenarios de ataque generados por modelos de lenguaje de gran tamaño pueden ayudar a ampliar el rango de imaginación de los ingenieros, pero aún requieren una revisión punto por punto por parte de especialistas en ciberseguridad, dispositivos médicos y práctica clínica.

Este estudio lleva al primer plano un problema que puede quedar oculto por el entusiasmo en torno a la IA: la regulación y validación de la IA médica no pueden limitarse a preguntar cómo se comporta el modelo en conjuntos de datos estándar; también deben preguntar si los flujos de datos, la forma de ensamblaje del dispositivo y el entorno de uso dejan entradas manipulables. A medida que los dispositivos médicos con IA entren en más procesos de diagnóstico y tratamiento, el análisis de seguridad en la fase de diseño puede convertirse en una parte cada vez más difícil de eludir dentro de los sistemas regulatorios y de calidad.

Sin embargo, este artículo sigue siendo por ahora una prepublicación, aún no ha sido revisado por pares y no hay fuentes externas independientes que aporten corroboración adicional sobre el mismo hecho. El valor real de SAMD dependerá de si puede mantener un rendimiento estable en más tipos de dispositivos médicos, en más escenarios con documentación de calidad desigual y bajo revisiones de expertos más estrictas.