醫療科技 · eu
當聽診AI愈來愈不準,醫師能及時察覺嗎?
一項48人隨機實驗發現,心音判讀表現會隨AI可靠度下降;即使要求參與者先自行判斷,也未改善整體結果,凸顯人工把關需要更具體的安全設計。
醫療AI出錯時,最後一道防線常被寄望於醫師。但要判斷眼前這次建議是否可信,與察覺整套系統正在失準,是兩種不同的考驗。11月13日刊於《npj Digital Medicine》的研究,以心臟聽診模擬實驗揭示:有人在旁監督,未必足以攔住持續惡化的診斷建議。
研究納入48名醫師與醫學系最後一年學生,隨機分成兩組,各自判讀40段取自公開CirCor資料集的心音錄音,區分正常與異常,異常範圍包含心雜音。一組先看AI建議,另一組先獨立作答,再看建議並決定是否修改。
研究者刻意調整系統輸出,讓正確率依序降至90%、60%、50%與0%;最後階段還讓聲音與視覺訊號不相符。因此,這是在受控條件下測試人如何回應失準系統,並非記錄某款臨床產品自然故障的過程。
隨著AI失準,參與者採納建議後的平均正確率,從約81%降至58%。要求先自行判讀,整體上沒有帶來改善。實驗後僅12.5%的人主動提及系統可靠度下降;即使明確被問及系統有何變化,提及可靠度降低的比例也只有37.5%。
人仍能修正部分錯誤:在AI可靠度較低的階段,最終判讀優於AI本身,卻低於先獨立作答組當下未受AI輔助的表現。這也提醒,評估監督是否有效,不能只問人有沒有勝過故障系統,還須問加入AI後,是否保住原有能力。
結果的適用範圍有限。這是小型實驗,沒有真實看診互動與完整臨床資訊;固定順序的快速失準,加上最後階段的視聽錯配,也使研究難以拆解各項因素的影響,不能直接推算臨床誤診或病人受害的風險。
作者據此主張,安全責任需要延伸至醫院與開發者,由系統監測配合臨床判斷。對醫療AI的驗證而言,除了測量模型能判得多準,也需要檢驗:當它開始不準時,使用者與組織是否有能力及時辨識、介入。