數位醫療 · eu
心音AI愈判愈錯,人類監督為何沒能守住診斷表現?
一項48人隨機實驗發現,即使先要求參與者獨立判讀,再揭示AI建議,也未改善監督效果。這項實驗室研究提醒,醫療AI的安全防線需要可驗證的設計。
當醫師與診斷AI意見相左,該重新檢查的是自己的判斷,還是系統的可靠性?一項心音判讀實驗顯示,隨著模擬AI逐步失準,參與者的最終判讀表現也跟著下滑;要求他們先獨立作答,並未改善結果。研究讓「由人類把關」這項安全承諾,面臨更具體的考驗。
這篇11月13日刊於《npj Digital Medicine》的研究,將48名參與者隨機分成兩組,每人判讀40段數位心音,區分正常與異常。論文摘要統稱參與者為醫師,但方法章節列明,其中18人是最後一年的醫學生,其餘包括住院醫師與資深醫師。共同作者Niels van Berkel的出版頁也收錄了這項研究及摘要。
兩組的差別在於看見AI建議的時間:一組先看建議再判讀,另一組先自行分類、評估信心,再看建議並決定是否修改答案。研究人員將AI的正確率分四階段降至90%、60%、50%與0%;最後階段還刻意讓聲音與視覺提示不同步,增加系統故障的線索。
整體而言,AI輔助下的判讀正確率從約81%降至58%。參與者確實修正了部分錯誤建議,但在AI可靠性較低的階段,人機合作表現仍低於未看AI建議時的基準。先獨立作答這道程序,沒有帶來研究者原先預期的保護效果。
另一個線索來自信心與信任的變化:先自行判讀的一組,對自身答案的信心,比對AI的信任更早下降,即使其獨立判讀表現並未衰退。作者推測,系統可能具有較高的感知權威,使人先懷疑自己;不過,這仍是待驗證的解釋,不能視為已證實的心理機制。
這些結果來自受控實驗室,不能直接換算成臨床誤診風險。參與者沒有接觸病人,也缺乏生命徵象等額外資訊;AI一路惡化到完全答錯的安排,也無法代表真實系統可能出現的細微、間歇性失準。研究更不能據此判定,所有先獨立評估的流程都無效。
它提出的實務問題是:監督成功究竟要達到什麼標準,又由誰持續確認?作者主張,除了臨床端判斷,還需考慮系統提示與醫院、開發者層級的監測。這些做法的效果仍待檢驗,但安全設計至少需要證明,人機合作在系統失準時,能否守住原有的判讀能力。