生醫科技 · global
當醫療AI遇上假資料攻擊:SAMD預印本嘗試把風險提前帶進設計桌
AI醫材的安全問題,不只在模型準不準,也在資料進入模型前是否已被動過手腳。一篇arXiv預印本提出SAMD工具,試圖用大型語言模型協助找出可能導致誤診或錯誤治療的攻擊路徑。
AI醫療裝置愈來愈像臨床現場的一部分:它讀取影像、訊號或病人資料,再把結果交給醫師或照護流程。但若進入模型的資料在推論當下被竄改,風險就不只是演算法偏誤,而是整個醫療系統可能被引向錯誤判斷。
一篇5月28日提交至arXiv的預印本介紹了SAMD,一套用於分析AI/機器學習醫療裝置中「假資料注入」攻擊情境的自動化工具。研究團隊聚焦的不是訓練資料污染,而是裝置實際使用時,攻擊者透過脆弱元件把錯誤資料送進模型,進而可能造成誤診或不適當治療。
SAMD的核心做法,是把AI醫療裝置視為一個控制系統,並採用STPA-Sec這類系統安全分析方法,在設計階段逐一檢視感測器、軟體元件、通訊介面與機器學習引擎之間的關係。工具會結合漏洞資料庫與大型語言模型,先辨識裝置文件中的技術組成,再搜尋相關已知漏洞,最後生成可能的攻擊路徑與步驟。
研究團隊以五項已獲美國FDA cleared的AI/ML醫療裝置作為個案研究。預印本報告指出,SAMD在辨識個案文件中的目標裝置技術時達到100% precision;在找回與這些技術相關的已知漏洞時,precision為63.2%;生成針對機器學習模型的攻擊情境時,研究團隊評估其相關性與正確性為95.3%,單一案例最高耗時約191.64秒。
這些數字說明,SAMD比較像是一種早期風險盤點工具,而非臨床安全性的直接證明。它的驗證基礎是五個個案與裝置文件,並未等同於真實醫院環境中的攻擊測試,也不能推論FDA已清關裝置目前存在可被立即利用的漏洞。尤其大型語言模型生成的攻擊情境,可能有助於擴大工程師的想像範圍,但仍需要資安、醫材與臨床專家逐項審查。
這項研究把一個容易被AI熱潮遮住的問題推到前景:醫療AI的監管與驗證,不能只問模型在標準資料集上表現如何,也要問資料流、裝置組裝方式與使用現場是否留下可被操弄的入口。隨著AI醫材進入更多診斷與治療流程,設計階段的安全分析可能會成為法規與品質系統中更難迴避的一環。
不過,這篇論文目前仍是預印本,尚未經同儕審查,也未有獨立外部來源對同一事件提供進一步佐證。SAMD的實際價值,將取決於它能否在更多類型的醫療裝置、更多文件品質不一的情境,以及更嚴格的專家審核中維持穩定表現。