醫療科技 · eu
診斷AI愈來愈不準,人類把關能接住錯誤嗎?心音實驗揭示限制
一項48人參與的心音判讀實驗發現,AI建議失準時,人機協作的準確率也隨之下滑;即使要求參與者先自行判斷,也未能穩定守住表現。這為醫療AI的人工監督提出警訊,但距離真實診間仍有驗證空間。
醫療AI出錯時,由人類做最後把關,是一道看似直覺的安全防線。但面對原本被介紹為高度準確、其後卻逐步失準的系統,使用者能否及時察覺?11月13日刊於《npj Digital Medicine》的一項隨機分組實驗發現,參與者雖能修正部分錯誤建議,最終判讀表現仍隨AI可靠度下降,連「先自己判斷,再看AI」也未提供穩定保護。
研究聚焦於心臟聽診:辨認錄製心音屬於正常或異常,異常範圍包括病理性血流聲與心雜音,並非完整的心臟疾病診斷。48名參與者中,18人是醫學系最後一年學生、19人是住院醫師,11人為較資深醫師。每人判讀40段心音;兩組各24人,一組先看AI建議,另一組先留下自己的判斷,再看建議並決定是否修改。
為了控制系統失準程度,研究團隊手動修改AI建議,讓四個階段的正確率依序為90%、60%、50%與0%。參與者在AI輔助下的平均判讀正確率,從第一階段的81.45%降至最後階段的58.33%。後三階段的人機表現雖優於當時的AI,卻低於先行獨立判讀組在查看建議前的表現,顯示人工介入只能抵銷部分損失。
要求先獨立思考,原意是避免AI答案成為判斷的起點,但這次未見整體改善。實驗結束後,只有12.5%的參與者在回應中提到察覺系統可靠度下降;即使明確追問系統有何變化,比例也僅升至37.5%。這凸顯兩件事之間的距離:修正眼前某個錯誤,未必代表已辨識出整套系統正在失常。
研究者提出,使用者可能在與AI意見不合時,先懷疑自己的判斷。先獨立判讀的一組,其未受AI輔助的表現維持穩定,自信卻較早下降;對AI的信任則到較後階段才出現顯著下降。不過,這仍是對觀察結果的可能解釋,尚不足以確立背後的心理機制。
這項研究在2023年10月登錄於AsPredicted,當時聲明尚未收集資料,並預定招募48人,比較AI建議的呈現順序、不同準確度及參與者是否察覺惡化。公開紀錄讓原始計畫可供核對,但預先註冊與正式論文的前兩階段準確率設定並不相同,解讀時仍應區分原定設計與實際執行內容。
實驗也有明確界線:它使用錄音與受控建議,沒有真實醫病互動或完整臨床資訊;失準程度固定依序加重,最後更同時加入聲音與視覺訊號不一致的情況。因此,無法排除順序效應,也難以單獨釐清最後階段各項干擾的影響。這些結果不能直接換算為診間誤診率,更不能代表所有醫療AI的表現。
對醫療AI的部署與監管而言,研究提出的問題是:人工監督究竟要達成什麼標準,又如何證明它有效?作者建議,除了臨床人員的判斷,還應考慮系統提示與醫院、開發者層級的持續監測。這些安排能否形成更可靠的安全防線,仍須在真實臨床流程中接受檢驗。