醫(yī)療領(lǐng)域常常被認(rèn)為是處于AI革命邊緣的領(lǐng)域。人工智能領(lǐng)域的很多知名企業(yè)，如谷歌的DeepMind，都聲稱他們一直在醫(yī)療領(lǐng)域努力耕耘，“人工智能有望改變現(xiàn)有醫(yī)療格局”。

但到目前為止AI到底產(chǎn)生了多大影響力？我們是否真的可以知曉從新技術(shù)中獲益的具體醫(yī)療領(lǐng)域呢？

在今年5月召開的ACM CHI“計算機系統(tǒng)中的人為因素作用力”會議上，來自Google的Carrie J. Cai在“以人為本的工具，以解決AI在應(yīng)對醫(yī)療決策過程算法不完善”的討論中展示了她的獲獎作品，并聲稱機器學(xué)習(xí)技術(shù)在醫(yī)療決策中的使用會越來越多。

她開發(fā)了一個新系統(tǒng)，使醫(yī)生能夠即時改進和修改病理圖像的搜索方式，以不斷提高其準(zhǔn)確性。

利用深度學(xué)習(xí)的視覺模型，在對新患者做出診斷時參考已知患者的醫(yī)學(xué)圖像（例如來自活檢的組織）是一種很有前途的方式。然而，在特定診斷期間準(zhǔn)確獲得醫(yī)生當(dāng)下所需的相似圖像對現(xiàn)有系統(tǒng)提出了巨大挑戰(zhàn)，因為“意圖鴻溝”（intention gap）的存在，即難以捕獲醫(yī)生的準(zhǔn)確意圖。這個問題我們稍后會詳細(xì)討論。

Cai的研究展示了他們在醫(yī)學(xué)圖像檢索系統(tǒng)上開發(fā)的細(xì)化工具能夠如何提高圖像的診斷準(zhǔn)確性。更重要的是，增加了醫(yī)生對機器學(xué)習(xí)算法輔助醫(yī)學(xué)決策的信任度。此外，調(diào)查結(jié)果顯示醫(yī)生能夠理解算法背后的優(yōu)點和缺點，自己發(fā)現(xiàn)并修正系統(tǒng)出現(xiàn)的錯誤?？傮w而言，醫(yī)療專家對AI系統(tǒng)協(xié)助醫(yī)學(xué)決策的未來持樂觀態(tài)度。

在這篇文章中，我們主要討論三個方面的問題，即：

基于內(nèi)容的圖像檢索系統(tǒng)的發(fā)展?fàn)顟B(tài)

深度學(xué)習(xí)技術(shù)在這些系統(tǒng)中的作用

討論它們的應(yīng)用和對醫(yī)療領(lǐng)域的影響

基于內(nèi)容的圖像檢索系統(tǒng)的發(fā)展?fàn)顟B(tài)

在過去二十年左右的時間里，由于網(wǎng)絡(luò)上可視化數(shù)據(jù)的可訪問性不斷增長，基于內(nèi)容的圖像檢索（CBIR）已經(jīng)成為計算機可視化研究的熱門領(lǐng)域?；谖谋镜膱D像搜索技術(shù)由于與視覺內(nèi)容的不匹配性而飽受詬病，因此將相似的視覺內(nèi)容進行排序在許多情況下都被認(rèn)為是很重要的。

Wengang Zhou等人指出了CBIR系統(tǒng)的兩個關(guān)鍵挑戰(zhàn)，他們稱之為“意圖鴻溝（Intention Gap）”和“語義鴻溝(Semantic Gap)”。

圖1：來自Wengang Zhou等人的論文《基于內(nèi)容的圖像檢索的最新進展：文獻調(diào)查”》

所謂“意圖鴻溝”，即難以通過已有的數(shù)據(jù)庫理解用戶的確切意圖，如圖示中的關(guān)鍵字。這是Carrie J. Cai等人提出的。回顧之前的研究，通過示例圖像進行查詢似乎是最廣為探索的領(lǐng)域，原因顯然是因為通過圖像獲得豐富的查詢信息非常方便。但這需要從圖像中提取準(zhǔn)確的特征，因此需要我們進入下一個角度，即語義鴻溝。

語義鴻溝主要是指用低級視覺特征描述高級語義概念的困難。現(xiàn)在，經(jīng)過多年來的大量研究，這個問題已經(jīng)取得了一些顯著突破，例如引入不變的局部視覺特征（SIFT）和引入視覺詞袋（BoW）模型。

圖1展示了CBIR系統(tǒng)的兩個主要功能。匹配檢索理解和圖像特征之間的相似性，也是一個重要的步驟，但這完全取決于系統(tǒng)表達出查詢和圖像的匹配程度。

最近基于學(xué)習(xí)的特征提取器，例如深度卷積神經(jīng)網(wǎng)絡(luò)（CNN），爆炸式地開辟了許多新研究途徑，可以直接應(yīng)用于解決我們在CBIR系統(tǒng)中討論的語義鴻溝。這些技術(shù)相比人工輸入的特征提取器有了顯著改進，并且已經(jīng)在語義感知檢索應(yīng)用程序中顯示出了潛力。

機器學(xué)習(xí)扮演的角色

Carrie J. Cai等人分析了CBIR系統(tǒng)的基本細(xì)節(jié)。由Narayan Hedge等人詳細(xì)介紹了他們的研究——“組織病理學(xué)類似圖像搜索：SMILY”。系統(tǒng)概述如圖2所示。

卷積神經(jīng)網(wǎng)絡(luò)（CNN）算法用于圖2所示的嵌入計算模塊，作為系統(tǒng)中的特征提取器。系統(tǒng)將圖像信息壓縮成數(shù)字特征向量（也稱為嵌入向量），通過預(yù)訓(xùn)練的CNN算法計算并存儲圖像數(shù)據(jù)庫（這里是病理載片上的片段圖像）及其數(shù)值向量，當(dāng)對圖像進行進行查詢檢索時，使用相同的CNN算法計算查詢輸入的圖像，并與數(shù)據(jù)庫中的向量進行比較以檢索最相似的圖像。

此外，Narayan Hedge等人解釋說，CNN架構(gòu)是基于Jiang Wang等人提出的深度排序網(wǎng)絡(luò)，它由卷層和匯聚層以及連接操作組成。在網(wǎng)絡(luò)訓(xùn)練階段，輸入3組圖像：特定類的第一組參考圖像，同一類的第二組圖像和完全不同類的第三組圖像。然后對損失函數(shù)進行建模，使得網(wǎng)絡(luò)在嵌入相同類的圖像時賦值的距離比嵌入不同類圖像時更短。因此，來自不同類的圖像有助于增強來自同一類的圖像的嵌入之間的相似性。

他們使用大型自然圖像數(shù)據(jù)集（例如狗，貓，樹等）來訓(xùn)練網(wǎng)絡(luò)而不只是用病理圖像。在學(xué)會區(qū)分相似的自然圖像與不同的自然圖像之后，再將相同的訓(xùn)練架構(gòu)直接應(yīng)用于病理圖像的特征提取上。這種方式被視為有限數(shù)據(jù)的應(yīng)用中的神經(jīng)網(wǎng)絡(luò)加強版，通常稱為轉(zhuǎn)移學(xué)習(xí)。

Narayan Hedge等人表示CNN特征提取器為每個圖像設(shè)置了128個大小不一的向量，并且選擇L2距離作為向量之間的比較函數(shù)。使用t-SNE可視化技術(shù)將病理圖像載玻片上產(chǎn)生的所有數(shù)據(jù)集嵌入。如圖3所示：（a）器官位點著色的嵌入 （b）由組織學(xué)特征著色的嵌入。

圖3：來自由Narayan Hedge等人的的研究論文“類似圖像搜索組織病理學(xué)：SMILY”

事實上，類似的深度排名網(wǎng)絡(luò)架構(gòu)和訓(xùn)練技術(shù)可以在諸如Siamese Neural Networks等深度學(xué)習(xí)文獻中廣泛使用，甚至已經(jīng)應(yīng)用于人臉識別中。

現(xiàn)在，回到CBIR系統(tǒng)，我們了解到深度學(xué)習(xí)技術(shù)可以減少語義鴻溝，這些基于深度學(xué)習(xí)的方法即使在復(fù)雜的自然圖像中也可以識別重要特征。

在醫(yī)療領(lǐng)域中的應(yīng)用與沖擊

到目前為止，我們研究了CBIR系統(tǒng)的應(yīng)用以及深度學(xué)習(xí)技術(shù)在克服語義鴻溝等方面的潛力。但CBIR在醫(yī)療方面的適用性如何？我們能否明確量化其影響呢？

僅在2002年，日內(nèi)瓦大學(xué)醫(yī)院的放射科每天就產(chǎn)生超過12,000張圖像。其中，心血管科是第二大數(shù)字圖像制造者。醫(yī)療信息系統(tǒng)的目標(biāo)應(yīng)該是“在適當(dāng)?shù)臅r間地點為正確的人提供其所需的合適信息，以提高治療過程的質(zhì)量和效率。”因此，在臨床決策中，基于案例的推理或基于證據(jù)的醫(yī)學(xué)決策都希望從CBIR系統(tǒng)中受益。

無論技術(shù)多么健全，這些系統(tǒng)在實際臨床應(yīng)用中都需要更多的完善，特別是在建立系統(tǒng)與醫(yī)生間的信任方面。這是Carrie J. Cai等人的提出的，醫(yī)生通過非常靈活地使用相關(guān)性反饋來完善系統(tǒng)，即對得到的系統(tǒng)結(jié)果進行評級。HenningMüller等人還申明了相關(guān)反饋在交互式環(huán)境中的重要性，其用來改善系統(tǒng)結(jié)果并提高CBIR系統(tǒng)的適應(yīng)性。

另一個重點是量化這些系統(tǒng)的影響，這對于這一研究領(lǐng)域的適應(yīng)和發(fā)展至關(guān)重要。在與12位病理學(xué)家一同進行用戶研究后，Carrie J. Cai等人聲稱，通過他們的CBIR系統(tǒng)，醫(yī)生能夠更輕松地增加系統(tǒng)的診斷效用。此外，結(jié)果也顯示醫(yī)生對其信任度的提高了也增大了將來用于臨床實踐的可能性。但是在本研究中沒有評估診斷準(zhǔn)確性（盡管經(jīng)驗表明其保持不變），因為它超出了研究范圍。

展望未來，很明顯，醫(yī)療專家和AI系統(tǒng)開發(fā)人員需要不斷協(xié)作，以確定范例并評估AI應(yīng)用程序在醫(yī)療中的影響。此外，科研界也應(yīng)重點關(guān)注開放測試數(shù)據(jù)集和查詢標(biāo)準(zhǔn)的開發(fā)，以便為CBIR系統(tǒng)設(shè)置基準(zhǔn)，這些對于推動研究向前發(fā)展非常有幫助。