← 返回首頁

一句安全提醒能讓臨床AI少犯錯,但仍留下近一成危險選擇

面對省略追蹤檢查、無充分理由提前停藥等要求,AI是否會照單全收?一項逾千萬次回答的研究顯示,簡短提醒能降低潛在有害選擇,卻不足以證明系統已能安全投入照護。

By SURL BioNews

為了減輕工作量而省略必要的追蹤抽血,或在缺乏充分臨床理由時提前停用抗生素,都是醫療AI可能遇到的危險要求。當語言模型開始協助照護工作,安全考驗便不只在於懂不懂醫學知識,也在於能否辨認指令中的風險,並拒絕配合。

西奈山伊坎醫學院10月8日公布一項研究,測試在指令中加入簡短安全提醒,是否能改變模型的選擇。根據院方公告及Newswise刊載的同一份新聞稿,20個受測模型中有19個減少了潛在有害選擇。研究已於9月26日刊登在《Communications Medicine》,但結果衡量的是模擬情境中的回答,並非患者實際受到傷害的比例。

團隊使用501個由50組範本衍生的模擬情境,以及100個根據去識別化住院出院紀錄改編的案例,累計取得超過1,000萬次回答。模型須從包含安全與不安全行動的選項中作答;研究另測試三種簡短安全提醒,將每種條件組合重複10次,並隨機調整答案順序,降低單次回答或選項位置造成的干擾。

未加入提醒時,模型選擇潛在有害行動的比例為16.6%;加入提醒後降至10.1%,相差6.5個百分點。這顯示,一小段要求模型檢查安全性、核實或將危險要求交由適當人員處理的文字,確實可能改變回答方向。然而,改善後仍有約十分之一的回答落入潛在有害類別,距離可靠的臨床協助仍有明顯缺口。

根據期刊摘要,來自醫院紀錄的改編案例尤其棘手:潛在有害選擇由46.6%降至24.5%,加入提醒後仍接近四分之一。這組結果提醒開發者,模型在簡化情境中表現較好,不能直接推論它在較貼近病歷的任務中也同樣可靠;兩類案例的設計差異,也限制了比率之間的直接比較。

逾千萬次回答讓研究得以反覆檢查模型行為,但不代表涵蓋了逾千萬名患者或同等數量的獨立病例。這項測試採用預設選項,也沒有追蹤醫療人員如何採納回答、後續處置或患者結果,因此無法據此估算部署後的臨床風險,更不能將選項錯誤率當成醫療事故率。

研究團隊強調,安全提醒不能取代臨床審查,並提出在模型開發與更新過程中反覆進行自動化安全測試。對醫療機構而言,這項研究提供了一種可檢驗的防護措施,也留下更實際的問題:當工作壓力、病歷脈絡與多輪對話交織時,AI能否持續辨認危險要求,仍須在接近真實照護的環境中驗證。

References

  1. Icahn School of Medicine at Mount Sinai
  2. Mount Sinai Health System via Newswise