醫(yī)療領域常常被認為是處于AI革命邊緣的領域。人工智能領域的很多知名企業(yè)，如谷歌的DeepMind，都聲稱他們一直在醫(yī)療領域努力耕耘，“人工智能有望改變現(xiàn)有醫(yī)療格局”。

但到目前為止AI到底產生了多大影響力？我們是否真的可以知曉從新技術中獲益的具體醫(yī)療領域呢？

在今年5月召開的ACM CHI“計算機系統(tǒng)中的人為因素作用力”會議上，來自Google的Carrie J. Cai在“以人為本的工具，以解決AI在應對醫(yī)療決策過程算法不完善”的討論中展示了她的獲獎作品，并聲稱機器學習技術在醫(yī)療決策中的使用會越來越多。

她開發(fā)了一個新系統(tǒng)，使醫(yī)生能夠即時改進和修改病理圖像的搜索方式，以不斷提高其準確性。

利用深度學習的視覺模型，在對新患者做出診斷時參考已知患者的醫(yī)學圖像（例如來自活檢的組織）是一種很有前途的方式。然而，在特定診斷期間準確獲得醫(yī)生當下所需的相似圖像對現(xiàn)有系統(tǒng)提出了巨大挑戰(zhàn)，因為“意圖鴻溝”（intention gap）的存在，即難以捕獲醫(yī)生的準確意圖。這個問題我們稍后會詳細討論。

Cai的研究展示了他們在醫(yī)學圖像檢索系統(tǒng)上開發(fā)的細化工具能夠如何提高圖像的診斷準確性。更重要的是，增加了醫(yī)生對機器學習算法輔助醫(yī)學決策的信任度。此外，調查結果顯示醫(yī)生能夠理解算法背后的優(yōu)點和缺點，自己發(fā)現(xiàn)并修正系統(tǒng)出現(xiàn)的錯誤。總體而言，醫(yī)療專家對AI系統(tǒng)協(xié)助醫(yī)學決策的未來持樂觀態(tài)度。

在這篇文章中，我們主要討論三個方面的問題，即：

基于內容的圖像檢索系統(tǒng)的發(fā)展狀態(tài)

深度學習技術在這些系統(tǒng)中的作用

討論它們的應用和對醫(yī)療領域的影響

基于內容的圖像檢索系統(tǒng)的發(fā)展狀態(tài)

在過去二十年左右的時間里，由于網(wǎng)絡上可視化數(shù)據(jù)的可訪問性不斷增長，基于內容的圖像檢索（CBIR）已經(jīng)成為計算機可視化研究的熱門領域。基于文本的圖像搜索技術由于與視覺內容的不匹配性而飽受詬病，因此將相似的視覺內容進行排序在許多情況下都被認為是很重要的。

Wengang Zhou等人指出了CBIR系統(tǒng)的兩個關鍵挑戰(zhàn)，他們稱之為“意圖鴻溝（Intention Gap）”和“語義鴻溝(Semantic Gap)”。

圖1：來自Wengang Zhou等人的論文《基于內容的圖像檢索的最新進展：文獻調查”》

所謂“意圖鴻溝”，即難以通過已有的數(shù)據(jù)庫理解用戶的確切意圖，如圖示中的關鍵字。這是Carrie J. Cai等人提出的。回顧之前的研究，通過示例圖像進行查詢似乎是最廣為探索的領域，原因顯然是因為通過圖像獲得豐富的查詢信息非常方便。但這需要從圖像中提取準確的特征，因此需要我們進入下一個角度，即語義鴻溝。

語義鴻溝主要是指用低級視覺特征描述高級語義概念的困難。現(xiàn)在，經(jīng)過多年來的大量研究，這個問題已經(jīng)取得了一些顯著突破，例如引入不變的局部視覺特征（SIFT）和引入視覺詞袋（BoW）模型。

圖1展示了CBIR系統(tǒng)的兩個主要功能。匹配檢索理解和圖像特征之間的相似性，也是一個重要的步驟，但這完全取決于系統(tǒng)表達出查詢和圖像的匹配程度。

最近基于學習的特征提取器，例如深度卷積神經(jīng)網(wǎng)絡（CNN），爆炸式地開辟了許多新研究途徑，可以直接應用于解決我們在CBIR系統(tǒng)中討論的語義鴻溝。這些技術相比人工輸入的特征提取器有了顯著改進，并且已經(jīng)在語義感知檢索應用程序中顯示出了潛力。

機器學習扮演的角色

Carrie J. Cai等人分析了CBIR系統(tǒng)的基本細節(jié)。由Narayan Hedge等人詳細介紹了他們的研究——“組織病理學類似圖像搜索：SMILY”。系統(tǒng)概述如圖2所示。

卷積神經(jīng)網(wǎng)絡（CNN）算法用于圖2所示的嵌入計算模塊，作為系統(tǒng)中的特征提取器。系統(tǒng)將圖像信息壓縮成數(shù)字特征向量（也稱為嵌入向量），通過預訓練的CNN算法計算并存儲圖像數(shù)據(jù)庫（這里是病理載片上的片段圖像）及其數(shù)值向量，當對圖像進行進行查詢檢索時，使用相同的CNN算法計算查詢輸入的圖像，并與數(shù)據(jù)庫中的向量進行比較以檢索最相似的圖像。

此外，Narayan Hedge等人解釋說，CNN架構是基于Jiang Wang等人提出的深度排序網(wǎng)絡，它由卷層和匯聚層以及連接操作組成。在網(wǎng)絡訓練階段，輸入3組圖像：特定類的第一組參考圖像，同一類的第二組圖像和完全不同類的第三組圖像。然后對損失函數(shù)進行建模，使得網(wǎng)絡在嵌入相同類的圖像時賦值的距離比嵌入不同類圖像時更短。因此，來自不同類的圖像有助于增強來自同一類的圖像的嵌入之間的相似性。

他們使用大型自然圖像數(shù)據(jù)集（例如狗，貓，樹等）來訓練網(wǎng)絡而不只是用病理圖像。在學會區(qū)分相似的自然圖像與不同的自然圖像之后，再將相同的訓練架構直接應用于病理圖像的特征提取上。這種方式被視為有限數(shù)據(jù)的應用中的神經(jīng)網(wǎng)絡加強版，通常稱為轉移學習。

Narayan Hedge等人表示CNN特征提取器為每個圖像設置了128個大小不一的向量，并且選擇L2距離作為向量之間的比較函數(shù)。使用t-SNE可視化技術將病理圖像載玻片上產生的所有數(shù)據(jù)集嵌入。如圖3所示：（a）器官位點著色的嵌入 （b）由組織學特征著色的嵌入。

圖3：來自由Narayan Hedge等人的的研究論文“類似圖像搜索組織病理學：SMILY”

事實上，類似的深度排名網(wǎng)絡架構和訓練技術可以在諸如Siamese Neural Networks等深度學習文獻中廣泛使用，甚至已經(jīng)應用于人臉識別中。

現(xiàn)在，回到CBIR系統(tǒng)，我們了解到深度學習技術可以減少語義鴻溝，這些基于深度學習的方法即使在復雜的自然圖像中也可以識別重要特征。

在醫(yī)療領域中的應用與沖擊

到目前為止，我們研究了CBIR系統(tǒng)的應用以及深度學習技術在克服語義鴻溝等方面的潛力。但CBIR在醫(yī)療方面的適用性如何？我們能否明確量化其影響呢？

僅在2002年，日內瓦大學醫(yī)院的放射科每天就產生超過12,000張圖像。其中，心血管科是第二大數(shù)字圖像制造者。醫(yī)療信息系統(tǒng)的目標應該是“在適當?shù)臅r間地點為正確的人提供其所需的合適信息，以提高治療過程的質量和效率。”因此，在臨床決策中，基于案例的推理或基于證據(jù)的醫(yī)學決策都希望從CBIR系統(tǒng)中受益。

無論技術多么健全，這些系統(tǒng)在實際臨床應用中都需要更多的完善，特別是在建立系統(tǒng)與醫(yī)生間的信任方面。這是Carrie J. Cai等人的提出的，醫(yī)生通過非常靈活地使用相關性反饋來完善系統(tǒng)，即對得到的系統(tǒng)結果進行評級。HenningMüller等人還申明了相關反饋在交互式環(huán)境中的重要性，其用來改善系統(tǒng)結果并提高CBIR系統(tǒng)的適應性。

另一個重點是量化這些系統(tǒng)的影響，這對于這一研究領域的適應和發(fā)展至關重要。在與12位病理學家一同進行用戶研究后，Carrie J. Cai等人聲稱，通過他們的CBIR系統(tǒng)，醫(yī)生能夠更輕松地增加系統(tǒng)的診斷效用。此外，結果也顯示醫(yī)生對其信任度的提高了也增大了將來用于臨床實踐的可能性。但是在本研究中沒有評估診斷準確性（盡管經(jīng)驗表明其保持不變），因為它超出了研究范圍。

展望未來，很明顯，醫(yī)療專家和AI系統(tǒng)開發(fā)人員需要不斷協(xié)作，以確定范例并評估AI應用程序在醫(yī)療中的影響。此外，科研界也應重點關注開放測試數(shù)據(jù)集和查詢標準的開發(fā)，以便為CBIR系統(tǒng)設置基準，這些對于推動研究向前發(fā)展非常有幫助。