醫療科技 · global
當聽診AI逐步失準,人類覆核能接住錯誤嗎?
一項48人參與的心音判讀實驗發現,AI愈不可靠,使用者的診斷表現也跟著下滑;要求先自行判斷再看建議,仍未改善結果。研究讓臨床AI的安全問題,從「有沒有人把關」推進到「把關如何才有效」。
診斷AI若開始出錯,最後看過結果的人能否及時察覺?一項刊於《npj Digital Medicine》的心臟聽診研究,為這道安全防線提出警訊:當系統建議逐步失準,參與者的判讀表現也隨之下降。即使保留人的最終決定權,也未必足以攔住系統失靈帶來的影響。
這項隨機分組實驗以數位心音判讀為情境,要求48名參與者辨別錄音正常或異常,異常判定涵蓋病理性血流聲或心雜音。研究摘要將參與者統稱為醫師,但方法章節進一步說明,其中18人是最後一年醫學生,其餘包含住院醫師與資深醫師。因此,結果反映的是不同經驗層級使用者的表現,不能直接等同於心臟專科醫師的能力。
研究團隊安排兩種工作流程:一組先看到AI建議,再進行判讀;另一組必須先提交自己的分類,才會看到AI意見,之後可以修改答案。後者試圖讓使用者先獨立思考,減少被機器答案牽引的機會。作者的出版頁面也確認,這正是研究檢驗人類監督能否發揮作用的核心設計。
結果顯示,診斷表現隨AI可靠度下降而惡化;即使參與者原先的獨立判讀優於當時的AI,這道先行判斷程序仍未改善監督成效。另一個落差出現在主觀感受:參與者對自身判斷的信心,比對AI的信任下降得更快。這提示,面對愈來愈不可靠的建議,使用者未必會同樣迅速地調整依賴程度,但尚不能據此斷定每個人的心理機制。
實驗流程也有可供外部檢視的材料。研究團隊公開的GitHub資料庫提供操作程式、參與者指示、影音刺激素材與試次檔案,讓其他研究者能進一步查看建議如何呈現、判讀如何安排。這些材料有助於檢驗與重現程序,但公開程式本身並不代表研究結論已獲獨立重複驗證。
這仍是一項小型、受控制的心音分類實驗,並未測量真實患者的診療結果,也不足以推論所有醫療AI都會產生相同問題。對醫院與開發者而言,它提出的實際課題是:除了安排人員覆核,還須界定誰負責發現持續失準、如何取得警訊,以及何時介入。研究支持進一步驗證這些監督流程的必要性,至於哪種措施真正有效,仍需臨床情境中的證據。