每經(jīng)記者｜蔡鼎    每經(jīng)實習記者｜宋欣悅    每經(jīng)編輯｜蘭素英    

哈佛大學、斯坦福大學、微軟等頂尖學府和機構(gòu)的多名醫(yī)學、AI專家日前聯(lián)合開展了一項研究，對OpenAI旗下o1-preview模型在醫(yī)學推理任務的表現(xiàn)進行了綜合評估。

結(jié)果顯示，o1-preview模型在多項任務中表現(xiàn)出卓越的能力，在鑒別診斷生成（判斷“這是什么病”）、診斷臨床推理（判斷“這最可能是什么病”）和管理推理（判斷“應該如何治療”）方面，甚至達到了超人類水平。

目前，AI技術(shù)在一些醫(yī)院已初步展開應用，覆蓋了分診導診、預先問診、病歷生成等多種場景。

清華大學電子工程系長聘教授、清華大學精準醫(yī)學研究院臨床大數(shù)據(jù)中心共同主任吳及告訴《每日經(jīng)濟新聞》記者，“AI在醫(yī)療領(lǐng)域的應用難度較大，但會逐步滲透到一些典型場景中。”

圖片來源：論文《大型語言模型在醫(yī)學推理任務中的超人表現(xiàn)》

o1-preview診斷準確率高達近80%

該研究通過五個實驗對o1-preview模型進行了綜合能力評估，包括鑒別診斷生成、診斷推理、分診鑒別診斷、概率推理和管理推理能力。

這些實驗由醫(yī)學專家使用經(jīng)過驗證的心理測量方法進行評估，旨在將o1-preview的性能與以前的人類對照組和早期大型語言模型基準進行比較。結(jié)果表明，與醫(yī)生、已有的大語言模型相比，o1-preview在鑒別診斷、診斷臨床推理和管理推理的質(zhì)量都有明顯提高。

在評估o1-preview鑒別診斷生成的能力時，研究人員使用了發(fā)表在國際頂級醫(yī)學期刊《新英格蘭醫(yī)學雜志》（NEJM）上的臨床病理會議（CPC）病例。結(jié)果表明，o1-preview在鑒別診斷中的準確率高達78.3%。

圖片來源：論文《大型語言模型在醫(yī)學推理任務中的超人表現(xiàn)》

值得注意的是，o1-preview在88.6%的病例中得出了準確或非常接近準確的診斷結(jié)果，而GPT-4只有72.9%。

圖片來源：論文《大型語言模型在醫(yī)學推理任務中的超人表現(xiàn)》

此外，在87.5%的病例中，o1-preview選擇了恰當?shù)臋z查項目；另在11%的病例中，兩位醫(yī)生均認為該模型所選檢查方案是有效的；而在僅有的1.5%的病例中，其檢查方案被兩位醫(yī)生認為是無效的。

圖片來源：論文《大型語言模型在醫(yī)學推理任務中的超人表現(xiàn)》

為了進一步評估o1-preview的臨床推理能力，研究人員使用了NEJM Healer（一款在線工具，學習者可以通過與虛擬患者的互動來提升他們的臨床推理和診斷技能）中的20個臨床病例。

結(jié)果表明，o1-preview的表現(xiàn)明顯優(yōu)于GPT-4、主治醫(yī)師和住院醫(yī)師。在80例病例中，有78例獲得了完美的R-IDEA評分。R-IDEA評分是一個10分制量表，用于評估臨床推理能力。

圖片來源：論文《大型語言模型在醫(yī)學推理任務中的超人表現(xiàn)》

此外，研究人員還通過灰質(zhì)管理案例和標志性診斷案例評估了o1-preview的管理和診斷推理能力。

在灰質(zhì)管理案例中，o1-preview得分明顯高于GPT-4、使用GPT-4的醫(yī)生和使用傳統(tǒng)資源的醫(yī)生。在標志性診斷案例中，o1-preview的性能與GPT-4相當，但優(yōu)于使用GPT-4或傳統(tǒng)資源的醫(yī)生。

研究仍有局限性

研究表明，大語言模型如o1-preview在輔助醫(yī)生進行診斷決策方面具有巨大潛力。然而，該項研究也具有部分局限性。

首先，o1-preview有“啰嗦”傾向，而這種特性可能會讓其在試驗中取得更高分。

其次，目前的研究只反映了模型性能，但現(xiàn)實中離不開人機交互。人機交互對開發(fā)臨床決策輔助工具至關(guān)重要，下一步應該確定大語言模型（如o1-preview）能否增強人機交互。人類與計算機之間的交互或許是不可預測的，表現(xiàn)良好的模型與人類交互中甚至可能出現(xiàn)能力退化的情況。

第三，研究只考察了臨床推理的五個方面，但目前已知有幾十個其它任務可能對實際的臨床護理有更大影響。

第四，研究案例集中在內(nèi)科，并不能代表所有醫(yī)療實踐。此外，研究在設(shè)計上也未將診斷類型、患者個體差異以及就醫(yī)地點的不同等因素納入考量。

研究人員強調(diào)，醫(yī)學領(lǐng)域診斷推理的基準正迅速接近飽和狀態(tài)，因此亟需開發(fā)更具挑戰(zhàn)性和貼近實際應用的評估手段。他們呼吁在真實的臨床環(huán)境中測試這些技術(shù)，并為臨床醫(yī)生與人工智能的合作創(chuàng)新做好準備。

專家：AI將逐步滲透醫(yī)療典型場景

目前，AI技術(shù)在一些醫(yī)院已初步展開應用，覆蓋了分診導診、預先問診和病歷生成等多種場景。

美國耶魯大學教授威廉·基西克（WiliamKissick）提出了著名的“醫(yī)療不可能三角”理論。這個理論指出，在既定的約束條件下，一個國家的醫(yī)療系統(tǒng)很難同時實現(xiàn)提高醫(yī)療服務質(zhì)量、增加醫(yī)療服務可及性和降低醫(yī)療服務的價格。現(xiàn)實中的醫(yī)療困境，如“看病難、看病貴”以及不斷出現(xiàn)的醫(yī)患矛盾，正是傳統(tǒng)醫(yī)療體系“醫(yī)療不可能三角”的具體表現(xiàn)。

圖片來源：甲子光年智庫

而醫(yī)療AI的興起可能為解決這一難題提供新的答案。AI賦能下的醫(yī)療服務可以大規(guī)模接待患者，實現(xiàn)隨時隨地的無限供應，并且其水平會隨著持續(xù)訓練迅速提升，已經(jīng)達到了具有10至15年臨床經(jīng)驗醫(yī)生的水準，且每月還在不斷進步。

清華大學電子工程系長聘教授、清華大學精準醫(yī)學研究院臨床大數(shù)據(jù)中心共同主任吳及在接受《每日經(jīng)濟新聞》記者采訪時指出，相比自動化、智能設(shè)備等場景，AI在醫(yī)療場景的應用更為復雜。

吳及提到，醫(yī)療本質(zhì)上是人對人的服務，這一過程非常復雜，醫(yī)學診療不僅包含理論和科學，還涉及大量經(jīng)驗，很多時候依賴專家的直覺。因此，“AI在醫(yī)療領(lǐng)域的應用難度較大，但會逐步滲透到一些典型場景中。”

據(jù)市場研究機構(gòu)Global Market Insights的統(tǒng)計，2023年，醫(yī)療保健領(lǐng)域的AI市場規(guī)模價值為187億美元，預計到2032年將達到3171億美元，2024年至2032年的復合年增長率為37.1%。