← 返回首頁

醫療AI何時該更新?AEGIS以敗血症與腦瘤模型測試上市後監測框架

新版本不合格,不代表舊版本就能安心留用。卡羅林斯卡研究團隊將更新審查與風險警報分開處理,嘗試把醫療AI的持續監督化為可執行流程;目前成果仍限於概念驗證。

By SURL BioNews

一套協助辨識敗血症、或在磁振造影中勾勒腦瘤範圍的人工智慧,可能在病人組成、設備與診療流程改變後逐漸失準。此時,醫院面對的不只是「要不要換新版」,還有另一個更迫切的問題:正在使用的版本,是否已經需要介入處理?

瑞典卡羅林斯卡研究所團隊提出的AEGIS框架,試著讓這兩個問題各有明確的判斷路徑。研究於10月13日刊登在《npj Digital Medicine》,研究所於22日介紹成果;同一團隊早在3月已公開預印本。這次研究的重點,是示範如何執行醫療AI上市後的監測與更新決策,尚未證明這套流程能改善病人預後。

AEGIS將工作分成三部分:整合新資料並重新訓練、監測模型表現,以及依預設條件決定下一步。研究以美國食品藥物管理局的預定變更控制計畫,以及歐盟醫療器材與AI相關規範為參照,嘗試把監督要求轉成可追溯的操作程序。不過,美歐制度並不完全相同,採用框架也不等於取得主管機關許可。

在框架內,候選模型會依優先順序,被判為允許部署、附條件允許部署、交由臨床審查或拒絕部署;這些都是內部治理判定。另一條獨立的ALARM警報則監視已部署模型。因此,系統可以同時拒絕新版本、又對舊版本發出警訊,避免把「更新遭擋下」誤當成「現況仍然安全」。

敗血症示範使用PhysioNet Challenge 2019的加護病房歷史資料,以隨機森林分類器進行11輪測試,逐步加入資料損壞情境。早期預印本記載,流程產生八次允許部署,其餘三類決策各一次,並曾出現候選模型無法部署、現行模型也觸發警報的情境。另一項腦瘤示範則使用BraTS 2023/24磁振影像資料與nnU-Net ResENC-M模型,進行12輪測試;依團隊文件,這項示範關閉了中間兩類決策,只測試允許或拒絕部署。

正式論文另以跨院資料測試分布變化的偵測能力,報告ROC-AUC由0.82升至1.00,並在約500名病人的資料批次規模附近觸發偵測;這些實驗中未出現誤報。這裡的數字衡量的是辨識資料變化的能力,不能解讀為敗血症診斷或腦瘤分割的臨床準確度,也不能保證其他醫院能得到相同結果。

目前AEGIS的漂移評分主要捕捉輸入資料分布的改變,尚未直接處理「相同輸入與臨床結果之間的關係已改變」這類概念漂移。團隊已公開實作指南、文件範本與示範程式,但真正投入照護前,仍須依個別用途完成臨床驗證與法規評估。下一步與臨床夥伴及主管機關的實地測試,才有望回答這套程序能否及時辨識問題,並支持適當的處置。

References

  1. Karolinska Institutet
  2. npj Digital Medicine
  3. SMAILE, Karolinska Institutet
  4. arXiv