深度學習一直被看做是一個難以解釋的“黑匣子”。一方面在于其缺乏數學上的優雅，缺乏基礎理論的支撐，另一方面在工程上缺乏解釋性，其潛在的安全隱患一直為人們所詬病。因此，如何更好地對 CNN 進行可視化理解一直是學術界和工業界關注的重點。本文為 CNN 可視化理解的最新綜述，將重點內容摘選如下。

目前，學術界已經提出了很多和 CNN 可視化相關的工作，在早期的研究階段，可視化主要集中在低層特征。 隨著 CNN 的快速發展和實施，可視化已經擴展到解釋 CNN 的整體工作機制。這些工作主要是從網絡結構，算法實施和語義概念的角度來對其進行解釋。這其中幾種代表性的方法有：

1、Erhan 等人提出 Activation Maximization 來對傳統的淺層網絡進行解釋。后來，Simonyan 等人通過將單個 CNN 神經元的最大激活可視化合成一個輸入圖像模式（ input image pattern ），進一步改進了這種方法。后續出現了很多工作都是基于這種方法，再利用不同的正則項進行擴展，以提高合成圖像模式的可解釋性。

2、Mahendran 等人提出了 Network Inversion 重建基于多個神經元激活的輸入圖像，以此說明每個 CNN 層學習到的綜合特征圖，揭示了 CNN 網絡在網絡層層面的內部特征。Network Inversion 根據特定層的特征圖中的原始圖像重建輸入圖像，這可以揭示該圖層所保存的圖像信息。

3、沒有選擇對輸入圖像進行重建以實現特征可視化，Zeiler 等人提出了基于反卷積神經網絡的可視化方法（Deconvolutional Neural Network based Visualization,DeconvNet），該方法利用 DeconvNet 框架將特征圖直接映射到圖像維度，利用反卷積 CNN 結構（由反卷積層和反卷積層組成）在特定神經元激活的原始輸入圖像中查找圖像模式。通過直接映射， DeconvNet 可以突出顯示輸入圖像中的哪些模式激活特定神經元，從而直接鏈接神經元和輸入數據的含義。

4、周博磊等人提出了 Network Dissection based Visualization，它從語義層面對 CNN 進行了解釋。通過引用異構圖像數據集——Borden，Network Dissection 可以有效地將輸入圖像分割為多個具有各種語義定義的部分，可以匹配六種語義概念（例如場景，目標，部件，材質，紋理和顏色）。由于語義直接代表了特征的含義，神經元的可解釋性可以顯著提高。

下面，我們將詳細對這四種代表性的方法進行介紹。

▌通過 Activation Maximization 進行可視化

Activation Maximization（AM）的提出是為了可視化每層神經網絡中的神經元的首選輸入。首選輸入可以指示神經元已經學習到的特征。這些學到的特征將由一個可以引起神經元激活最大化的綜合輸入模式表示。為了合成這樣的輸入模式，CNN 輸入的每個像素都將被迭代地改變以最大化神經元的激活。

AM 背后的想法很直觀，其基本的算法也早在 2009 年就已經被 Erhan 等人提了出來。他們將 Deep Belief Net 中隱藏神經元的首選輸入模式和 MNIST 數字數據集中學習到的 Stacked Denoising Auto-Encoder 進行了可視化。

后來，Simonyan 等人利用這種方法最大化了輸出層 CNN 神經元的激活。Google也為他們的 Inception Network 合成了類似的可視化模式。 Yosinksi 等人進一步將 AM 用于大規模應用，可以將 CNN 各層的任意神經元可視化。 最近，很多優化工作都在這個想法的基礎上開展，以提高可視化模式的可解釋性和多樣性。 通過所有這些工作，AM 已經顯示出很好的解釋神經元首選性的能力，并確定了 CNN 學到的層次特征。

輸入層網絡可視化

通過 AM 對 CaffeNet 的輸入層網絡進行可視化

（a）圖顯示了四個不同神經元合成的不同模式的可視化結果；

（b）圖顯示了通過 AM 和直接映射方法合成的可視化模式。正如我們所看到的，大多數由 AM 合成的可視化模式與相應的直接映射模式幾乎相同。

可視化的模式可以分為兩組：

1）彩色模式代表對應的神經元對待測圖像中的顏色分量非常敏感；

2）黑白模式指代表該部分神經元對形狀信息非常敏感。

另外，通過與直接映射方法的比較，AM 可以準確地揭示每個神經元的首選輸入。

這一有趣的發現揭示了 CNN 試圖模仿人類視覺皮層系統的機制，即底層視覺區域中的神經元對基本模式（如顏色，邊緣和線條）更敏感。

隱藏層網絡可視化

通過 AM 對 CaffeNet 的隱藏層網絡進行可視化

從圖中我們可以看到，每行中從第二卷積層（CL 2）到第二全連接層（FL 2）的 6 個隱藏層的可視化。我們隨機選取了每層中的幾個神經元作為我們的 AM 測試目標。可以觀察到：

1）一些重要的模式是可見的，例如邊緣（CL2-4），臉部（CL4-1），輪子（CL4-2），瓶子（CL5-1），眼睛（CL5 -2）等，它們展示了神經元學習到的豐富特征。

2）同時，即使應用了多種正則化方法，也并非所有的可視化模式都是可解釋的。

3）可視化模式的復雜性和變化從低層到高層逐漸增加，這表明神經元學習到了越來越多的不變特征。

4）從 CL 5 到 FL，我們可以發現有一個較大的模式變化增量，這可能表明 FL 層對特征有更全面的評估能力。

輸出層網絡可視化

通過 AM 對 CaffeNet 的輸出層網絡進行可視化

上圖展示了 AM 和 DGNAM 對五種物品在 FL3 中合成的可視化模式。對第一行 AM 的效果，盡管我們可以猜出可視化模式代表的是哪一類，但在每個可視化圖案中都有多個重復和模糊的物體，例如第三列（AM-3）中的三個口紅，并且圖像遠沒有照片逼真。

對于第二行所示的 DGN-AM，通過利用生成器網絡，DGN-AM 從顏色和紋理方面大大提高了圖像質量。這是因為全連接層包含了來自圖像所有區域的信息，并且生成器網絡對實際可視化提供了一個強偏置。

通過輸出層可視化，我們可以清楚地看到哪些目標組合可能會影響 CNN 分類的決策。例如，如果 CNN 將人手中持有的手機圖像分類為手機，我們其實不清楚這個分類決策是不是受到了人手的影響。通過可視化，我們可以看到手機這一類別中有手機和人手。 可視化表明 CNN 已經學會了在一幅圖像中檢測到兩個目標信息。

小結

作為最直觀的可視化方法，AM 方法顯示出 CNN 可以學習在無需手工指定的情況下檢測出重要的特征，例如臉部，輪子和瓶子。與此同時，CNN 試圖模仿視覺皮層的層級組織，并進而成功地構建了層級特征提取機制。此外，這種可視化方法表明，單個神經元會以更局部的方式提取特征而不是分布式，并且每個神經元都對應于特定的模式。

▌通過反卷積網絡（Deconvolutional Network）進行可視化

從給定的輸入圖像中找出激活卷積圖層中特定神經元的選擇性模式。

Activation Maximization 從神經元的角度解釋了 CNN，而基于 CNN 的 Deconvolutional Network（DeconvNet）則是從輸入圖像的角度解釋了 CNN。它從輸入圖像中找出激活卷積層中特定神經元的選擇性模式。通過將低維神經元的特征圖到圖像維度來重構圖案。

該映射過程由 DeconvNet 結構實現，DeconvNet 結構通過反卷積層和反池化層，執行卷積層和池化層的反向計算。 基于 DeconvNet 的可視化并不是純粹分析神經元首選特征，而是在圖像層次上進行一個更為直接的特征分析。

DeconvNet 結構的研究主要由 Zeiler 等人主導。他們首先提出了 DeconvNet 結構，旨在通過將高度多樣化的低維特征圖映射到高維來捕獲重建自然圖像的某些一般特征。后來他們利用 DeconvNet 結構分層次分解圖像，從而可捕捉到從低級邊緣到高級目標部分所有尺度的圖像信息。

最終，他們通過解釋 CNN 隱藏特征應用 DeconvNet 結構進行 CNN 可視化，這使它成為了一種可視化 CNN 的有效方法。

Deconvolutional Network 的網絡結構

基于這些層形成的反向結構，DeconvNet 可以很好地對 CNN 進行可視化。 可視化過程可以描述如下：

（1）當通過 CNN 處理特定輸入圖像時，該網絡可以捕獲所有神經元的特征圖。

（2）網絡將選擇出用于可視化的目標神經元的特征圖，同時將其他所有神經元的特征圖設置為零。

（3）為了獲得可視化模式，DeconvNet 會將目標神經元的特征圖映射回圖像維度。

（4）為了將所有神經元可視化，該過程會被重復應用于所有神經元并獲得一組用于CNN 可視化的相應模式圖像。

這些可視化模式可以表明輸入圖像中的哪些像素或特征有助于神經元的激活，并且還可以用于檢查 CNN 設計缺陷。

通過 DeconvNet 對 CaffeNet 進行可視化

上圖是一個基于 DeconvNet 的可視化示例，包含了 CaffeNet 從 CL1 到 CL5 的 5 個卷積層。在每一層中，我們隨機選擇兩個神經元的可視化模式與原始圖像中相應的局部區域進行比較。從這些例子中，我們可以看出：每個單獨的神經元都以更局部的方式提取特征，其每一層中的不同神經元負責不同的模式，例如嘴，眼睛和耳朵。 低層（CL1，CL2）捕捉小邊緣，角落和部件。 CL3 具有更復雜的不變性，可捕捉紋理等類似的網格模式。較高層（CL4，CL5）更具有類別性，可以顯示出幾乎整個目標。

與 Activation Maximization 相比，基于 DeconvNet 的可視化可以提供更加明確和直接的模式。

用于網絡分析和優化的 DeconvNet 網絡可視化

AlexNet和ZFNet網絡第一層（輸入層）和第二層可視化

除了用于解釋分析的卷積層可視化之外，DeconvNet 還可用于檢查 CNN 設計以進一步優化。上圖（a）和（c）顯示了 AlexNet 的第一層和第二層的可視化。 我們可以發現：

1）在第一層有一些沒有任何特定模式的“死亡”神經元（用純灰色表示），這意味著它們對于輸入沒有激活，這可能是高學習率的表現或者是權值初始化不是很好。

2）第二層可視化顯示了混疊的假象，用紅色矩形突出顯示，這可能是由于第一層卷積中使用的步長較大引起的。

這些來自可視化的結果可以很好地應用于 CNN 優化。 因此，Zeiler 等人 提出了 ZFNet，它減少了第一層濾波器的尺寸，縮小了 AlexNet 的卷積步長，從而在前兩個卷積層中保留了更多特征。

圖（b）和（d）展示了 ZFNet 引入的改進，它顯示了 ZFNet 的第一層和第二層的可視化。我們可以看到第一層中的圖案變得更加獨特，而第二層中的圖案沒有混疊假象。 因此，可視化可以有效應用于 CNN 分析和進一步優化。

訓練 ZFNet 期間的特征演變

除了 CNN 網絡優化之外，可解釋性分析還可以幫助監視 CNN 訓練過程以獲得更好的訓練效率。

上圖顯示了在 ZFNet 訓練期間的可視化模式。每一行分別代表卷積層中的不同神經元。每一列則是在不同訓練時期隨機選擇的可視化模式子集。我們可以發現：

1）在每一行中，顏色對比度會隨著訓練過程被人為地增強。

2）較低層（CL1，CL2）會很快收斂，因為在幾個時期出現了不同的模式。

3）然而，在高層（CL4，CL5）中這些顯著的模式需要經過相當長的一段的時期才會出現，這意味著這些層需要一直訓練到完全收斂。

另外，如果在訓練過程中觀察到噪音模式，則可能表明網絡訓練時間不夠長，或者正則化強度低，從而導致訓練結果過擬合。通過在訓練期間的幾個時間點可視化特征，我們可以發現設計缺陷并及時調整網絡參數。一般來說，訓練過程的可視化是監控和評估訓練狀態的有效方法。

小結

DeconvNet 強調了輸入圖像中哪些選定的模式可以以更具可解釋性的方式對神經元的激活作出貢獻。另外，這種方法可以用來檢查 CNN 的優化問題。 訓練監測可以在調整訓練參數和停止訓練時為 CNN 研究提供更好的參照。然而，AM 和 DeconvNet 的這兩種方法都只將神經元層面的 CNN 進行了可視化，缺乏從更高層次結構（如網絡層和整個網絡）的綜合視角。在下面的部分，我們將進一步討論高層次的 CNN 可視化方法，這種方法可以解釋每個單獨的網絡層，并將整個網絡層中的一組神經元捕獲的信息可視化。

▌通過 Network Inversion 進行可視化

在任意圖層中重建所有神經元特征圖的圖像，以突出顯示給定輸入圖像的綜合 CNN 圖層級特征。

不同于來自單個網絡神經元的激活，層級激活可以揭示由層內的所有神經元激活模式組成的更全面的特征表示。因此，和之前對來自單個神經元激活的 CNN 進行可視化不同，基于 Network Inversion 的可視化可用于從層級角度分析激活信息。

在將 Network Inversion 被用于 CNNs 可視化之前，傳統的計算機視覺表示研究就已經提出了 Network Inversion 的基本思想，如方向梯度直方圖（HOG），尺度不變特征變換 （SIFT），局部二元描述符（LBD）和視覺詞袋描述模型。后來，研究人員針對 CNN 可視化提出了兩種 Network Inversion 方案：

1）基于正則化的 Network Inversion：由 Mahendran 等人提出，它利用梯度下降法和正則化項重建每一層的圖像。

2）基于 UpconvNet的Network Inversion：它由 Dosovitskiy 等人提出。通過訓練專用的上卷積神經網絡（UpconvNet）重構圖像。

總的來說，這兩種算法的主要目標都是從一個完整網絡層的特征圖的特定激活中重建原始輸入圖像。基于正則化的 Network Inversion 更容易實施，因為它不需要訓練額外的專用網絡。而基于 UpconvNet 的 Network Inversion 雖然需要額外的專用網絡和更高的計算成本，但卻可以可視化更多更高層的信息。

兩種 Network Inversion 算法的數據流

上圖顯示了兩種基于 Network Inversion 的可視化方法網絡實現與原始 CNN 的比較：基于正則化的 Network Inversion 在上面用綠色表示，基于 UpconvNet 的 Network Inversion 顯示在下面用橙色表示，而原始的 CNN 在中間用藍色表示。

基于正則項的 Network Inversion 在可視化目標層之前具有與原始 CNN 相同的架構和參數。在這種情況下，算法會調整待重構圖像 x0 的每個像素以最小化 x0 的目標特征圖 A（x0）和原始輸入圖像x的特征圖 A（x）之間的目標損失函數誤差。

基于 UpconvNet 的 Network Inversion 會為特征映射返回圖像維度提供反向路徑。算法會調整 UpconvNet 的參數以最小化重建圖像 x0 和原始輸入圖像 x 之間的目標損失函數誤差。

網絡層級可視化分析

網絡層的可視化可以揭示每個層保留的特征。下圖顯示了 Regularizer 和 UpconvNet 方法在 AlexNet 各層的可視化。

通過基于正則項和 UpconvNet 的 Network Inversion 對 AlexNet 進行重構

從上圖我們可以發現：

1）盡管來自 CL 的可視化比較模糊，但看起來依然與原始圖像很相似。 這表明較低層特征可以保留更多詳細信息，例如目標的顏色和位置。

2）可視化質量從 CL 到 FL 發生了顯著下降。然而，高級 CL 甚至 FL 的可視化可以保存顏色（UpconvNet）和大致的目標位置信息。

3）基于 UpconvNet 的可視化質量優于基于 Regularizer 的可視化，尤其是 FL。

4）無關信息逐漸從低層向高層過渡。

網絡層級特征圖分析

基于網絡層級分析，我們可以進一步利用基于 Network Inversion 的可視化分析特征圖特征。 Dosovitskiy 等人對一層中的一部分特征進行了攝動，并從這些攝動特征映射中重建圖像。攝動以兩種方式進行：

1）二值化（Binarization）：保留所有特征圖的值的符號，并將它們的絕對值設置為固定數值。這些值的歐幾里德范數保持不變。

2）Dropout：50％ 的特征圖的值被設置為零，然后歸一化以保持其歐幾里得范數不變。

通過擾動特征圖的 ALexNet 重構

上圖顯示了兩個攝動方法在不同層下的重建圖像。從圖中我們可以看出：

1）在 FL1 中，二值化幾乎不改變重建質量，這意味著幾乎所有關于輸入圖像的信息都包含在非零特征圖的模式中。

2）Dropout 改變重建的圖像幅度很大。但是，Dosovitskiy 等人還通過實驗表明，通過丟棄 50％ 最不重要的特征圖可以顯著減少重建誤差，這比大多數不應用任何 Dropout 的層更好。這些觀察可以證明很多 CNN 壓縮技術都可以實現最佳性能，例如量化（quantization）和濾波修剪（Filter pruning），這是由于每層中都存在大量冗余信息。因此，基于 Network Inversion 的可視化可用于評估特征映射的重要性，并剪去最不重要的特征映射以進行網絡壓縮。

小結

基于 Network Inversion 的可視化將特定圖層的特征圖投影到圖像維度，從而可以對特定圖層所保留的特征進行深入了解。另外，通過對一些可視化的特征映射進行攝動，我們可以驗證 CNN 在每一層中保存了大量冗余信息，因此進一步優化了 CNN 設計。

▌通過 Network Dissection 進行可視化

用特定的語義概念評估每個卷積神經元或多個神經元之間的相關性。

在之前部分我們介紹的多個可視化方法揭示了單個神經元或可捕捉層的視覺可感知模式。然而，視覺可感知模式和清晰的可解釋語義概念之間仍然存在缺失。

因此，Bau 等人提出了 Network Dissection.，它將每個卷積神經元與特定的語義概念直接相關聯，如顏色，紋理，材質，部件，物體和場景。神經元和語義概念之間的相關性可以通過具體語義概念尋找對特定圖像內容響應強烈的神經元來測量。異構圖像數據集—— Borden 為圖像提供了與本地內容相對應的特定語義概念。

下圖中給出了一組 Broden 示例，其中語義概念被劃分為用紅框突出顯示的六個類別。每個語義類別可以涵蓋各種類別，例如植物，火車等。在下圖每個示例的右下角，還有識別到的語義對應神經元。我們還可以看到，黑色蒙版覆蓋了與指定語義無關的圖像內容。Network Dissection 建議生成這些黑色蒙版。

AlexNet 中激活的某些神經元的 BroNet 圖像

Network Dissection 的發展逐漸將語義概念連接到了 CNN 中的不同組件級別。 Network Dissection 的基本算法說明了一個語義概念和一個單獨神經元之間的相關性。這種相關性是基于每個語義概念都可以分配給單個神經元的假設。

后來，進一步的 Network Dissection 工作表明，特征可以分布表示，這表明一個語義概念可以由多個神經元的組合表示。因此，Fong 等人提出了另一種 Network Dissection 方法，即 Net2Vec，它將基于神經元組合的語義概念可視化。

這兩種方法都可以提供解釋 CNN 隱藏神經元的全面可視化結果。

用于測量給定 CNN 中神經元的語義校準的 Network Dissection 圖示

單個神經元的 Network Dissection

通過 Network Dissection 進行 AlexNet 可視化

單個神經元的可視化結果下圖所示。在每列中，每個 CL 中顯示了四個單獨的神經元以及兩個 Broden 圖像。對于每個神經元，左上角是預測的語義概念，右上角代表神經元數量。

從圖中，我們可以發現：

1）每幅圖像都突出顯示了真實圖像中引起高度神經激活的區域。

2）預測標簽非常匹配突出顯示的區域。

3）從檢測器總結的數字中我們可以發現，顏色概念在較低層（ CL1 和 CL 2）占主導地位，而 CL5 中則出現更多的目標和紋理檢測器。

與以前的可視化方法相比，我們可以發現：CNN 的所有層神經元都可以檢測到信息，而不僅僅是底層神經元，顏色和紋理這樣的信息即使在更高層中也可以保存，因為在這些層中也可以找到許多顏色檢測器。

在不同的訓練條件下的可解釋性

訓練條件（如訓練迭代次數）也可能影響 CNN 的表示學習。Bau 等人通過使用不同的訓練條件，如 Dropout，批量歸一化和隨機初始化評估了各種 CNNs 模型可解釋性的影響。在下圖的右側部分，NoDropout 表示 baseline 模型——AlexNet 的 FC 層中的 Dropout 被移除了。BN 表示批量歸一化應用于每個 CL。 而 repeat1，repeat2 和 repeat3 表示隨著訓練迭代次數隨機初始化權重。

我們可以觀察到：

1）網絡在不同的初始化配置下顯示出類似的可解釋性。

2）對于沒有應用 Dropout 的網絡，會出現更多的紋理檢測器，但會有更少的目標檢測器。

3）批量歸一化似乎顯著降低了可解釋性。

總體而言，Dropout 和批量歸一化可以提高分類準確度。從可視化的角度來看，在沒有 Dropout 時，網絡傾向于捕獲基本信息。而且批量歸一化可能會降低特征多樣性。

通過這樣的評估，我們可以發現基于 Network Dissection 的可視化可以有效地應用于從網絡可解釋性的角度對不同 CNN 優化方法的評估。

每個層次和不同的訓練條件下的語義概念

神經元組合的 Network Dissection

單個神經元和神經元組合的 Network Dissection

通過使用組合神經元的可視化結果如上圖所示。第一行和第三行是單個神經元的分割結果，而第二行和第四行由神經元組合分割的結果。正如我們所看到的，對于使用加權組合方法的“狗”和“飛機”的語義可視化，預測掩碼對于大多數示例來說都是顯著的。這表明，盡管我們可以找到對應于某個概念的神經元，但這些神經元并未最佳地表現或完全涵蓋這個概念。

小結

Network Dissection 是一種用于解釋 CNN 的獨特可視化方法，可以自動將語義概念分配給內部神經元。通過測量未采樣的神經元激活和具有語義標簽的真實圖像之間的校準，Network Dissection 可以可視化由每個卷積神經元表示的語義概念的類型。Net2Vec 證實 CNN 的特征表示是分布式的。此外，Network Dissection 可用于評估各種訓練條件，這表明訓練條件可以對隱藏神經元學習表示的可解釋性產生重大影響。這種方法可以看做 CNN 可視化和 CNN 優化的另一個代表性例子。

▌總結

在本文中，我們回顧了 CNN 可視化方法的最新發展。并從結構，算法，操作和實驗方面多個角度呈現了四種具有代表性的可視化方法，以涵蓋 CNN 可解釋性研究的最新成果。

通過對代表性可視化方法的研究，我們可以發現：CNN 確實具有模仿人類視覺皮層層級組織的層級特征表示機制。另外，為了揭示 CNN 內部的解釋機制，可視化工作需要針對不同的 CNN 組件采取不同的分析角度。此外，CNN 通過可視化獲得的更好的可解釋性實際上有助于 CNN 優化。