近年來，醫(yī)療行業(yè)積極擁抱人工智能，尤其在疫情的推動下。根據(jù) Optum 的一項調(diào)查顯示，80% 的醫(yī)療機構(gòu)已經(jīng)制定了人工智能戰(zhàn)略，另有15% 計劃啟動相關(guān)項目。為滿足需求，包括大型科技公司在內(nèi)的供應(yīng)商紛紛推出相關(guān)產(chǎn)品。
谷歌最近發(fā)布了 Med-PaLM2，這是一個用于回答醫(yī)學(xué)問題和在醫(yī)學(xué)文本中發(fā)現(xiàn)洞見的人工智能模型。此外，像 Hippocratic 和 OpenEvidence 等初創(chuàng)公司正在開發(fā)模型，為臨床醫(yī)生提供可操作的建議。
然而，隨著越來越多針對醫(yī)學(xué)應(yīng)用的模型上市，了解哪些模型是否能夠如廣告所述地發(fā)揮作用變得越來越具有挑戰(zhàn)性。由于醫(yī)學(xué)模型往往是使用來自有限、狹窄的臨床環(huán)境數(shù)據(jù)進行訓(xùn)練（例如東海岸的醫(yī)院），一些模型對特定患者群體，通常是少數(shù)族裔群體，顯示出偏見，導(dǎo)致在現(xiàn)實世界中產(chǎn)生有害影響。
為了建立一個可靠、可信賴的方法來評估和評價醫(yī)療模型，工程協(xié)會 MLCommons 開發(fā)了一個名為 MedPerf 的新型測試平臺。MLCommons 表示，MedPerf 可以在 “多樣化的真實醫(yī)療數(shù)據(jù)” 上評估人工智能模型，并保護患者隱私。
MedPerf 是由醫(yī)療工作組牽頭進行的為期兩年的合作成果，得到了行業(yè)和學(xué)術(shù)界的反饋，其中包括20多家公司和20多家學(xué)術(shù)機構(gòu)的意見。與 MLCommons 的通用人工智能基準(zhǔn)套件（如 MLPerf）不同，MedPerf 設(shè)計用于醫(yī)療模型的操作人員和客戶，即醫(yī)療機構(gòu)，而不是供應(yīng)商。
通過 “聯(lián)邦評估”，MedPerf 平臺上的醫(yī)院和診所可以根據(jù)需要評估人工智能模型，并在現(xiàn)場進行評估。
MedPerf 支持流行的機器學(xué)習(xí)庫，以及僅通過 API 提供的私有模型和模型，例如 Epic 和 Microsoft 的 Azure OpenAI Services。
今年早些時候，MedPerf 在一個系統(tǒng)測試中舉辦了由 NIH 資助的 Federated Tumor Segmentation （FeTS） Challenge，這是一個評估膠質(zhì)母細(xì)胞瘤(一種侵襲性腦)術(shù)后治療模型的大規(guī)模比較。MedPerf 今年支持了41個不同的模型的測試，這些模型在32個來自六個大洲的醫(yī)療機構(gòu)的系統(tǒng)上運行，既有本地部署也有云端部署。
根據(jù) MLCommons 的說法，所有模型在與訓(xùn)練數(shù)據(jù)的患者人口學(xué)特征不同的醫(yī)療機構(gòu)中表現(xiàn)出了降低的性能，揭示了其中存在的偏見。
MLCommons 認(rèn)為，MedPerf 目前主要用于評估放射學(xué)掃描分析模型，是實現(xiàn)其通過 “開放、中立和科學(xué)方法” 加速醫(yī)療人工智能的 “基礎(chǔ)步驟”。它呼吁人工智能研究人員使用該平臺驗證自己的模型，并鼓勵數(shù)據(jù)所有者注冊其患者數(shù)據(jù)，以增加 MedPerf 測試的可靠性。
然而，這個平臺是否真正解決了醫(yī)療人工智能領(lǐng)域中棘手的問題仍然值得商榷。杜克大學(xué)研究人員最近編寫的一份報告揭示了人工智能營銷和將技術(shù)應(yīng)用于醫(yī)生、護士及其周圍復(fù)雜的醫(yī)療系統(tǒng)和技術(shù)系統(tǒng)的日常工作之間的巨大差距。往往情況并不僅僅是模型的問題，而是如何將技術(shù)融入到醫(yī)療工作中，包括設(shè)備的部署、互聯(lián)網(wǎng)連接強度以及患者對人工智能輔助評估的反應(yīng)。
醫(yī)療從業(yè)者對醫(yī)療人工智能持有復(fù)雜的觀點。雅虎金融的一項調(diào)查發(fā)現(xiàn)，55% 的醫(yī)護人員認(rèn)為這項技術(shù)還不準(zhǔn)備好使用，只有26% 的人認(rèn)為可以信任。
這并不意味著醫(yī)學(xué)模型偏見不是一個真正的問題，它確實存在并產(chǎn)生后果。例如，Epic 的系統(tǒng)用于識別敗血癥病例，但發(fā)現(xiàn)錯過了許多病例，并經(jīng)常發(fā)出誤報。同時，對于不是谷歌或微軟這樣規(guī)模的組織來說，獲得多樣化、及時的醫(yī)療數(shù)據(jù)并非易事。
然而，將人們的健康問題過分依賴像 MedPerf 這樣的平臺是不明智的。畢竟，基準(zhǔn)測試只能告訴我們故事的一部分。安全地部署醫(yī)療模型需要供應(yīng)商及其客戶進行持續(xù)、徹底的審計，更不用說研究人員了。缺乏此類測試是不負(fù)責(zé)任的行為。
