醫療人工智慧 · global
把病歷停在確診之前:Protege推出AI診斷推理評測
256個經醫師審核的病例,讓AI從尚未寫下答案的病歷辨認疾病。這項測試更貼近診斷現場的資訊限制,但能否縮短患者求醫歷程,還需要臨床證據。
疾病的線索可能早已散落在歷次就診紀錄與檢驗報告中,卻尚未拼成明確診斷。AI能否讀出這些訊號?Protege於10月21日公布Disease Odyssey評測,將病歷截在診斷記載之前,測試模型能否辨認正在發展的疾病,讓醫療AI的考題從醫學知識走向具體的病歷判讀。
這項回溯性評測收錄256個經醫師接受的病例,涵蓋129個ICD-10診斷分類,並比較四個前沿模型。依其GitHub文件,首次記載目標診斷當天及其後的資料均被移除;檢驗結果則須同時符合採檢日期與結果日期早於截點,才能保留。這道時間界線,是為了避免模型憑當時尚未取得的資訊答題。
同一份病歷分別以自由作答與六選一形式呈現,每個模型在每種題型各作答三次。Protege表示,四個模型在選擇題的表現都優於自由作答;公司另一篇服務發布公告則將診斷正確率概括為51%至67%,並提及睡眠呼吸中止與貧血等疾病。這些數字描述的是特定病例與評分條件下的表現,不能直接視為日常看診的準確率。
評測也暴露出「答錯」未必容易界定。Protege列出一個睡眠呼吸中止病例:模型自由作答時全數未命中參考診斷,醫師審查者卻認為其提出的其他疾病也有合理依據。病歷可能同時支持多種解釋;要求模型只猜中後來記載的一項診斷,便可能把合理的臨床判斷算成失分。
為讓外界檢視測試方法,Protege在GitHub公開兩種題型的完整提示詞,以及用於評判自由作答的大型語言模型提示詞與計分文件。不過,病歷、參考診斷、選項、醫師審查及模型輸出均未公開,基準也限定用於評估,不供訓練或微調。公開題目規則有助理解測量方式,外部研究者仍無法僅靠儲存庫完整重現結果。
Disease Odyssey同時是Protege新推出醫療AI獨立評估服務的一環。公司表示,資料來自其醫療服務提供者網絡,題目與答案由臨床專家審查,並盡力避免測試資料與模型訓練資料重疊。這些是評測供應商對流程的說明,尚不能當作已完全排除資料重疊的外部證明。
對患者而言,真正的考驗在分數之外:AI提出線索後,是否促成適當檢查、減少延誤,又會不會增加誤報與不必要的處置?目前病例經過挑選,並非所有就診情境的代表樣本,也沒有在持續照護中測試醫師與AI協作。這項評測提供了檢查診斷能力的具體起點;能否改善患者結局,仍須追蹤預測如何改變實際醫療決策。