U-Net是一種卷積神經網絡（CNN）方法，由Olaf Ronneberger、Phillip Fischer和Thomas Brox于2015年首次提出，它可以更好的分割生物醫學圖像。

一、為什么需要分割？U-Net 能提供什么？

大體說來，分割就是將一幅圖像分割為若干個部分的過程，這可以讓我們把圖像中的目標或紋理分割出來。因此分割常常被用于遙感影像或者腫瘤檢測等應用中。

傳統上有很多方法可以實現這一過程，例如點、線和邊緣檢測方法，閾值分割法，基于區域的聚類，基于像素的聚類，形態學的方法等等。目前也出現很多利用卷積神經網絡進行分割的方法，對于那些需要進行圖像分割處理的更高級的任務，這種方法是不可或缺的。在本篇文章中，我們將仔細研究這樣一個架構：U-Net。

我們知道，深度學習需要大量數據集來訓練模型。但這有一定的難度，對于像目標分類這樣問題我們常常不能提供足夠的數據量。這里的“不能”，往往意味著時間、金錢以及硬件設備。

例如，我們不可能去用手機攝像頭來收集生物醫學圖像，而是需要復雜系統的方法來收集；此外在數據標記過程中，僅僅依靠開發人員/工程師是不夠的 ， 更需要大量具備專業知識和經驗的人員對相關圖像進行分類，對于醫療診斷等高度專業化的領域尤其如此。

相比于傳統模型，U-Net在架構和基于像素的圖像分割方面更成功；特別地，它在有限數據集圖像上更加有效。下面，我們通過對生物醫學圖像分析來實現該體系結構。

二、U-Net 的獨特之處

我們知道，在模型中會使用池化層來對高和寬進行降維處理，簡單來說池化就是用一個像素來代表一組元素，從而實現圖像降維。



最大和平均池。注意：池化可以有不同的方法，包括Max、Avg Pooling等。

?

U-Net模型結構 U-Net，如上圖所示，它的命名源自它的結構——網絡結構可視化的結果正如一個字母“U”。U-Net 由收縮路徑（左側）和擴展路徑（右側）兩部分組成！它的特殊之處在于結構后半部分的擴展路徑。

此外，該網絡沒有使用全連接層，只采用了卷積層，每個標準的卷積層后面都緊跟著一個Relu激活函數層。

下面是conv 3×3+ReLU的具體過程：

下面是up-conv 2×2的具體過程：

需要注意，這里要在圖像四周的邊界區域中對稱地添加像素，以便可以實現連續分割圖像；使用這種策略，可以將圖像完全分割。此外，填充（添加像素）方法對于將U-Net模型應用于大圖像上也具有重要意義；如果不這樣，GPU內存容量將限制分辨率。下圖顯示了我提到的鏡像填充和分割的結果：

三、U-Net 和自編碼器的區別

為了理解UNet獨特的結構，我們將傳統的分割方法“自編碼器”（autoencoder）架構與Unet進行簡單地比較。 在傳統的自動編碼器結構中，輸入信息的大小逐層遞減。



自編碼器的模型 在這個結構中，編碼器部分完成之后，解碼器部分開始。線性特征表示也是在解碼器部分學習的，特征的大小將逐漸增大，到了解碼器的末尾，輸出圖像大小等于輸入圖像相等。

這種體系結構在保持輸出大小方面是理想的，但有一個問題是，它對輸入進行線性壓縮，從而導致所有特性都無法傳輸的瓶頸。

這就是U-Net的不同之處。U-Net在解碼器部分（網絡的后半部分）采用反卷積，這種結構可以克服自編碼器在特征傳遞過程中產生的特征丟失問題。

四、繼續學習 U-Net

我們回到生物醫學圖像分割的案例。 生物醫學圖像中組織影像最常見的變化是變形（deformation）。我們可以模擬實際中的變形，通過彈性變形方法可以幫助我們擴充數據集，從而提高學習效果。



彈性變形的可視化表示 此外，當同一類別的某些部分相互接觸時，往往很難確定邊界。因此，推薦使用 loss 函數中具有較大權重的值，同時也先從背景中分離要分割的信息。 由DIC（Differential Interference Contrast，差分干涉對比度）顯微鏡記錄的HeLa細胞。a） 原始圖像；b） 標記的分割結果，用不同的顏色標識 HeLa 細胞的不同個體；c） 創建的分割蒙版（黑白）；d） 以像素為單位的權重損失圖，以便于網絡學習邊緣像素。

五、Loss函數

Loss可以通過標準二值交叉熵（binary cross-entropy）和 Dice 損失計算，這是評估生物醫學圖像分割成功與否的常用性能標準。

二值交叉熵和 Dice 損失 交并比（IoU） 是基于像素的評價標準，通常用于評估分割性能。這里考慮了目標矩陣與結果矩陣之間的不同像素比。這個度量與Dice計算也有關。

下面是IOU的可視化：

?

下面是輸入的圖像和標簽：



我們來看看與其他方法相比，U-Net在EM圖像分割方面的表現：

下面這是U-Net在PhC-U373 (a-b)和DIC-HeLa (c-d) 數據集上的分割，看起來還是比較成功的：

在這兩個數據集的結果以及與先前研究的比較如下：



當然，分割不僅僅用于醫學圖像。地球科學或衛星圖像的遙感系統也使用分割，無人駕駛系統也是如此。畢竟，到處都有“模式”。

六、其他應用

1、TGS鹽鑒定挑戰

在地球各地區，地表下有大量的油氣和鹽層。不幸的是，很難知道大型鹽礦藏在哪里。

專業的地震成像圖需要專家來判斷是否有鹽體存在。這往往存在極大的主觀性，不同專家往往會給出不同的結果。

TGS（地質學數據公司）有精確的地震圖像和三維成像圖，他們希望Kaggle的機器學習社區能夠創建一種算法來自動地、準確地確定地下目標是否是鹽，因此他們舉辦了一個TGS Salt Identification Challenge。

下面這就是U-Net在這個挑戰賽中成功應用的案例：

2、地圖挑戰-利用分割構建缺失地圖

利用衛星影像確定地圖區域是U-Net另一個應用領域。事實上，可以說，隨著這一領域的發展而出現的應用將極大地促進測繪和環境工程師的工作。 這種方法不僅適用于國防工業，也適用于城市區域規劃。例如，在建筑物檢測競賽中，U-Net取得平均精度0.943，平均靈敏度0.954的結果。



地圖挑戰賽中Neptune.ML的結果

3、U-Net對其他深度學習方法的啟示

U-Net對不同體系結構以及其他計算機視覺深度學習模型也具有極大的啟發意義。 例如，ResNet的ResNet（RoR）概念就是一個例子。該結構可定義為U-Net體系結構的后半部分，適用于經典殘差網絡中的跳躍連接（skip connections）。



原始ResNet（左）-RoR方法（右） 從經典的ResNet模型架構可以看出，每個藍色塊都有一個跳過連接。在RoR 方法中，通過前面的連接將新的連接從輸入添加到輸出。在ResNet中有不同版本的RoR。







審核編輯：劉清