基于以上三個策略，作者提出了一個類似inception的網絡單元結構，取名為fire module。一個fire module 包含一個squeeze 卷積層（只包含1x1卷積核）和一個expand卷積層（包含1x1和3x3卷積核）。其中，squeeze層借鑒了inception的思想，利用1x1卷積核來降低輸入到expand層中3x3卷積核的輸入通道數。如圖1所示。

圖1 Fire module結構示意圖

其中，定義squeeze層中1x1卷積核的數量是s1x1，類似的，expand層中1x1卷積核的數量是e1x1， 3x3卷積核的數量是e3x3。令s1x1 < e1x1+ e3x3從而保證輸入到3x3的輸入通道數減小。SqueezeNet的網絡結構由若干個 fire module 組成，另外文章還給出了一些架構設計上的細節：

為了保證1x1卷積核和3x3卷積核具有相同大小的輸出，3x3卷積核采用1像素的zero-padding和步長
squeeze層和expand層均采用RELU作為激活函數
在fire9后采用50%的dropout
由于全連接層的參數數量巨大，因此借鑒NIN[11]的思想，去除了全連接層而改用global average pooling。

1.3 實驗結果

表3 不同壓縮方法在ImageNet上的對比實驗結果[5]

上表顯示，相比傳統的壓縮方法，SqueezeNet能在保證精度不損（甚至略有提升）的情況下，達到最大的壓縮率，將原始AlexNet從240MB壓縮至4.8MB，而結合Deep Compression后更能達到0.47MB，完全滿足了移動端的部署和低帶寬網絡的傳輸。

此外，作者還借鑒ResNet思想，對原始網絡結構做了修改，增加了旁路分支，將分類精度提升了約3%。

1.4 速度考量

盡管文章主要以壓縮模型尺寸為目標，但毋庸置疑的一點是，SqueezeNet在網絡結構中大量采用1x1和3x3卷積核是有利于速度的提升的，對于類似caffe這樣的深度學習框架，在卷積層的前向計算中，采用1x1卷積核可避免額外的im2col操作，而直接利用gemm進行矩陣加速運算，因此對速度的優化是有一定的作用的。然而，這種提速的作用仍然是有限的，另外，SqueezeNet采用了9個fire module和兩個卷積層，因此仍需要進行大量常規卷積操作，這也是影響速度進一步提升的瓶頸。

二、Deep Compression

Deep Compression出自S.Han 2016 ICLR的一篇論文《Deep Compression: Compressing Deep Neural Networks with Pruning, Trained Quantization and Huffman Coding》。該文章獲得了ICLR 2016的最佳論文獎，同時也具有里程碑式的意義，引領了CNN模型小型化與加速研究方向的新狂潮，使得這一領域近兩年來涌現出了大量的優秀工作與文章。

2.1 算法流程

與前面的“架構壓縮派”的SqueezeNet不同，Deep Compression是屬于“權值壓縮派”的。而兩篇文章均出自S.Han團隊，因此兩種方法結合，雙劍合璧，更是能達到登峰造極的壓縮效果。這一實驗結果也在上表中得到驗證。

Deep Compression的算法流程包含三步，如圖2所示：

圖2 Deep Compression Pipeline

1、Pruning(權值剪枝)

剪枝的思想其實早已在早期論文中可以窺見，LeCun等人曾經就利用剪枝來稀疏網絡，減小過擬合的風險，提升網絡泛化性。

圖3是MNIST上訓練得到的LeNet conv1卷積層中的參數分布，可以看出，大部分權值集中在0處附近，對網絡的貢獻較小，在剪值中，將0值附近的較小的權值置0，使這些權值不被激活，從而著重訓練剩下的非零權值，最終在保證網絡精度不變的情況下達到壓縮尺寸的目的。

實驗發現模型對剪枝更敏感，因此在剪值時建議逐層迭代修剪，另外每層的剪枝比例如何自動選取仍然是一個值得深入研究的課題。

圖3 LeNet conv1層權值分布圖

2、Quantization (權值量化)

此處的權值量化基于權值聚類，將連續分布的權值離散化，從而減小需要存儲的權值數量。

初始化聚類中心，實驗證明線性初始化效果最好；

利用k-means算法進行聚類，將權值劃分到不同的cluster中；

在前向計算時，每個權值由其聚類中心表示；

在后向計算時，統計每個cluster中的梯度和將其反傳。