← 返回首頁

AI整理癌症病歷有多可靠?兩項研究檢驗資料擷取與模型覆核

Flatiron公布的研究摘要顯示,AI擷取德國攝護腺癌病歷資料的表現可接近專家,另一個模型也能找出部分錯誤;但漏檢與尚未公開的驗證細節,仍限制這些資料能承擔的研究用途。

By SURL BioNews

一份攝護腺癌病歷裡,診斷時間、治療經過與疾病惡化的線索,往往散落在不同紀錄中。把它們整理成可供研究分析的欄位,是大型語言模型的一項具體用途;然而,若模型誤讀病程,後續對療效或治療模式的分析也可能受到影響。資料整理得快,還必須回答整理得是否可靠。

Flatiron Health於11月12日宣布,將在柏林舉行的2026年歐洲腫瘤內科學會人工智慧與數位腫瘤學大會,發表兩項資料驗證研究。新聞稿未列出準確度數字,但公司前一天發布的研究摘要已提供部分量化結果。兩張海報預定11月17日展示;其中,德國攝護腺癌研究的作者所屬機構包括Charité與Flatiron。

第一項研究使用Flatiron德國研究資料庫,讓大型語言模型擷取攝護腺癌的診斷細節、治療、去勢抗性及日常照護紀錄中的疾病進展。團隊採用名為VALID的驗證框架,以人工整理的資料作為評估基準,也檢查診斷日期、分期與病理分級之間的關係是否符合臨床預期。

根據摘要,經過提示詞調整與反覆錯誤分析後,所有必要攝護腺癌欄位的F1分數,與專家人工擷取表現的差距均在5個百分點以內。F1分數綜合衡量擷取結果的精確率與召回率;「差距在5個百分點內」並不等於準確率達95%,也不能直接說明每個欄位還剩下多少錯誤。

第二項先導研究把另一個大型語言模型當成覆核者,對照英國與德國的原始病歷文件及擷取指引,標記第一個模型可能出錯的內容。在攝護腺特異性膜抗原正子斷層掃描(PSMA PET)報告的評估中,覆核模型找出經人工審查確認錯誤的召回率,英國為60%、德國為75%。換言之,這道檢查仍漏掉部分已知錯誤,不能將未被標記視為資料正確的保證。

另一組涵蓋初始處置、手術與復發事件的評估,共檢驗12個欄位。覆核模型在其中9個欄位標記了疑似錯誤的預測;修正被標記內容後,8個欄位的F1分數提高0.4至6.5個百分點。這為安排人工審查優先順序提供了線索,但摘要未交代誤報比例,因此還無法判斷覆核程序會增加多少查核工作。

目前可核對的資料主要來自公司發布的研究摘要與會議預告,尚未列出樣本數、各欄位的絕對F1分數或信賴區間,也未證明換到其他醫療機構後仍有同樣表現。這些結果支持進一步驗證自動化病歷整理流程,卻尚不足以證明它能改善患者照護,或讓產出的資料直接滿足藥品審查需求。若要支撐藥物開發,仍須針對實際研究問題,確認哪些錯誤可能改變結論,以及哪些環節需要專家介入。

References

  1. Flatiron Health
  2. Flatiron Health
  3. Flatiron Health
  4. Flatiron Health