← 返回首頁

換個問法,癌症分期就變了:研究揭醫療AI推理的不穩定性

三種語言模型接受臨床病例測試,僅提示格式不同,分期準確率就可能大幅變動。研究也深入模型內部,發現改善一種模型的方法,未必適用於另一種。

By SURL BioNews

當AI協助判讀癌症分期,答案理應隨臨床證據而變。然而,一項新研究發現,光是改變提問格式,就可能讓模型的分期準確率大幅波動;遇到資訊不足的病例,它們有時仍給出確定的分期。對準備引進醫療AI的機構而言,這意味著測試時答得好,還不足以證明日常使用時答得穩。

10月31日刊於《npj Digital Medicine》的研究,以GPT-5、MedGemma-27B-Text-IT及OpenBioLLM-Llama3-70B為對象。期刊摘要記載,團隊從經醫師驗證的腫瘤科SOAP病歷、簡短病例與MIMIC病例,建立3,035項系統性擾動測試,檢查模型面對輸入變化時,臨床推理能否維持一致。這個數字代表測試變體,不能當作病人人數。

研究報告,僅提示格式變化,就使分期準確率出現超過50%的變動。不過,摘要未交代各比較的起訖準確率,也未釐清這項幅度是否指百分點差異,因此不宜直接解讀為所有模型都下降逾50個百分點。另一個警訊則更直接:模型可能在臨床資料不足以支持判斷時,仍產生明確答案。

團隊進一步使用「稀疏自編碼器」,嘗試拆解模型內部如何表達資訊。這項分析工具以5萬份MIMIC-IV臨床紀錄、合計10億個詞元訓練;詞元是模型處理文字的基本單位。這批資料用來訓練解析工具,與前述病例擾動測試的用途不同。

分析顯示,MedGemma的內部表徵呈現層次:較高強度的特徵偏向編碼字詞身分,較低強度的特徵則承載上下文意義;OpenBioLLM的資訊分布較均勻。研究也發現,這些差異會影響檢索與推理干預的效果,提示對某種架構有效的改善方法,移到另一種架構後可能反而損害表現。

這項工作較早的預印本於2月更新,摘要記載的是355項腫瘤病例擾動;期刊版本則報告3,035項,並列出更多病例形式。兩個版本支持相近的核心結論,但不能把測試規模混為一談。目前期刊提供的是通過同儕審查、尚待後續編修的提前公開版本,摘要也不足以回答每種模型在哪些情境最容易出錯。

研究者因此主張,醫療語言模型部署前,應依各自架構進行安全驗證。從這些結果推論,驗收除了看整體準確率,也應檢查不同病歷格式、資訊缺漏與輔助措施下的穩定性。不過,這項研究呈現的是病例任務與模型內部分析,不能據此量化真實診療中的傷害風險;如何把這類測試納入醫院採購與監管要求,仍是落地前必須回答的問題。

References

  1. npj Digital Medicine
  2. PubMed Central / medRxiv