先進的機器學習算法逐步在專業的醫療診斷領域發揮出重要的作用，在檢測糖尿病引起的眼部疾病和乳腺癌中都發揮了重要作用。雖然高性能的算法逐步得到了臨床醫生的信任和應用，但算法還需要認識到哪些信息需要呈現給醫生，如何與醫生進行信息交互，這些都是決定著機器學習技術最終為用于帶來的價值。在病理學領域，對于癌癥診斷和其他一些通過顯微鏡組織樣本進行標準化診斷的疾病來說十分適合于利用機器來提高診斷的效率。傳統通過光學顯微鏡進行的診斷正被數字病理學的高分辨率圖像逐漸取代，并在計算機上進行檢視。這一趨勢大大方便了醫務人員對于信息的檢索查閱，比如病理學家在最終疑難雜癥或者特殊病例，或者對剛入行的病理學家進行有效訓練，數字化的病理信息十分必要。

這些場景下，人們往往會問到底是什么特征決定了自己判斷的結果呢？針對一個特定的病理圖像，先前的醫生可能會和同事討論或者查閱參考書并希望從中找出相似的視覺特征。而對于計算機視覺來說，這相當于一個基于內容的圖像檢索問題，可以利用輸入圖像檢索出特征相似的圖像結果(Similar Image Search for Histopathology:SMILY)。

研究人員將相同的方法拓展到了病理學研究的范疇，提出了病理組織學領域的相似圖像搜索方法，利用機器學習工具改變了病理學領域的圖像檢索方式，并探索了基于圖像搜索不同的優化方法，形成了一套能與醫生進行有效交互的病理學圖像檢索和信息綜合系統。

SMILY 設計

開發SMILY系統首先需要構建深度學習模型。研究人員利用50億張自然圖像來對模型進行訓練，將圖像壓縮成一種具有高度代表性的數值矢量—嵌入矢量。網絡在學習的過程中將逐步學會通過計算并比較圖像的嵌入矢量來區分相似和不同類別的圖像。

隨后研究人員利用這一模型創建了癌癥領域病理圖像片與對應嵌入矢量的配對數據集。當一個檢索圖像片通過SMILY工具抽取出來，模型就會計算出對應的嵌入矢量并與數據集中的嵌入進行比較，隨后檢索出相似的圖像返還給用戶。

構建SMILY數據集的過程以及檢索相似圖像片的流程。

用戶可以使用這一工具選擇感興趣區域，并通過系統得到視覺相似的匹配結果。研究人員利用乳腺、結腸和前列腺等常見癌變區域的組織切片圖像進行檢索，驗證了系統可以對訓練中沒有見到過的圖像有著很好的檢索結果。

醫生可以選取感興趣的區域，系統就會從數據庫中檢索出多個相似的樣本，為醫生提供更多的決策信息

優化SMILY系統

但在實際使用中研究人員發現用戶很可能會對系統給出很多模糊的問題，但系統并不能理解用戶的意圖。換句話說，用戶需要引導系統來優化搜索結果，并最終拿到期望的檢索結果。此外研究人員還發現不斷迭代的檢索需求實際上與醫生進行迭代的診斷方式息息相關。

通過作出假設、收集數據來驗證假設、探索可能的假設、重新審視先前的假設，這一過程不斷訓練來得到最終的診斷結果。對于SMILY系統來說，需要類似的方式支持與用戶的交互來實現診斷流程。

研究人員設計了三種方法來增強SMILY系統，為用戶提供了交互式的檢索優化工具。

通過區域優化。病理學家可以從圖像中剪切一個感興趣區域，限制了系統檢索的范圍；

通過樣本優化。用戶可以從檢索結果中再次選擇一些樣本，系統將基于這些樣本的共性進行進一步優化地檢索；

通過臨床概念優化。通過特定的臨床概念來優化檢索結果。研究人員沒有將這些臨床概念構建在模型中，而是給用戶提供了一種方法來創建新的、個性化的概念來引導模型檢索出需要的結果。這種方法使得研究人員可以通過后續檢驗工具來構建特定的概念檢索需要的結果，而無需重新訓練模型。

三種不同的檢索優化方法

實踐中發現增強后的SMILY不僅增加了檢索結果的有效性，同時交互過程的引入也大幅度增加了用戶對于結果的信任和采用率。事實上這一工具在病理學醫生的決策過程中扮演了遠遠超過搜索工具的重要角色。他們可以利用工具觀察在迭代搜索過程中樣本的變化，作為對假設置信度的追蹤方法。當搜索結果與預期偏離時，就需要工具檢驗更多的假設，例如剪切出區域中的一部分、或是改變一些與觀測結果對應的臨床概念來強化一些被忽視的現象。

除了被動地接受機器學習工具給出的結果，醫生可以利用工具主動地檢測假設并將領域知識應用到假設驗證過程中，引導算法更好地工作，這同時也大幅度放大了自動化過程帶來的優勢。由于這一交互式工具可以為用戶提供個性化的檢索過程獲取期望的結果，研究人員還探索了SMILY在輔助檢索大型病理數據庫的數字化病理圖像。一方面可以利用這一算法為病理學圖像提供文字標簽和目錄，醫學生和初級病理學家可以根據利用視覺搜索的方法來加速和深化教育和學習過程。

另一方面、癌癥研究人員可以有效地研究腫瘤的形態學與病情，加速對于相關病例的研究。此外病理學家還可以利用這一工具定位切片圖像中所有可能的位置特征，更好地理解目前的病情，以便制定有效的治療方案。

更重要的是，研究中發現復雜的機器學習算法需要與以人為本的設計和交互相配合才能實現最大的效用，這也許應該成為機器學習工具一項重要的設計準則。