Distilling直譯過來即蒸餾，其基本思想是通過一個(gè)性能好的大網(wǎng)絡(luò)來教小網(wǎng)絡(luò)學(xué)習(xí)，從而使得小網(wǎng)絡(luò)能夠具備跟大網(wǎng)絡(luò)一樣的性能，但蒸餾后的小網(wǎng)絡(luò)參數(shù)規(guī)模遠(yuǎn)遠(yuǎn)小于原始大網(wǎng)絡(luò)，從而達(dá)到壓縮網(wǎng)絡(luò)的目的。

其中，訓(xùn)練小模型(distilled model)的目標(biāo)函數(shù)由兩部分組成

1) 與大模型(cumbersome model)的softmax輸出的交叉熵(cross entropy)，稱為軟目標(biāo)(soft target)。其中，softmax的計(jì)算加入了超參數(shù)溫度T，用以控制輸出，計(jì)算公式變?yōu)?/p>

溫度T越大，輸出的分布越緩和，概率zi/T越小，熵越大，但若T過大，會(huì)導(dǎo)致較大熵引起的不確定性增加，增加了不可區(qū)分性。

至于為何要以soft target來計(jì)算損失，作者認(rèn)為，在分類問題中，真值(groundtruth)是一個(gè)確定性的，即one-hot vector。以手寫數(shù)字分類來說，對(duì)于一個(gè)數(shù)字3，它的label是3的概率是1，而是其他數(shù)值的概率是0，而對(duì)于soft target，它能表征label是3的概率，假如這個(gè)數(shù)字寫的像5，還可以給出label是5的一定概率，從而提供更多信息，如

數(shù)字 0 1 2 3 4 5 6 7 8 9
真值?0?0?0?1?0?0?0?0?0?0?
軟目標(biāo)?0?0?0?0.95?0?0.048?0.002?0?0?0

2)與真值(groundtruth)的交叉熵(T=1)

訓(xùn)練的損失為上述兩項(xiàng)損失的加權(quán)和，通常第二項(xiàng)要小很多。

4.2 實(shí)驗(yàn)結(jié)果

作者給出了在語音識(shí)別上的實(shí)驗(yàn)結(jié)果對(duì)比，如下表

表6 蒸餾模型與原始模型精度對(duì)比[8]

上表顯示，蒸餾后的模型的精確度和單字錯(cuò)誤率和用于產(chǎn)生軟目標(biāo)的10個(gè)模型的性能相當(dāng)，小模型成功地學(xué)到了大模型的識(shí)別能力。

4.3 速度考量

Distilling的提出原先并非針對(duì)網(wǎng)絡(luò)加速，而最終計(jì)算的效率仍然取決于蒸餾模型的計(jì)算規(guī)模，但理論上蒸餾后的小模型相對(duì)原始大模型的計(jì)算速度在一定程度上會(huì)有提升，但速度提升的比例和性能維持的權(quán)衡是一個(gè)值得研究的方向。

五、MobileNet

MobileNet是由Google提出的針對(duì)移動(dòng)端部署的輕量級(jí)網(wǎng)絡(luò)架構(gòu)。考慮到移動(dòng)端計(jì)算資源受限以及速度要求嚴(yán)苛，MobileNet引入了傳統(tǒng)網(wǎng)絡(luò)中原先采用的group思想，即限制濾波器的卷積計(jì)算只針對(duì)特定的group中的輸入，從而大大降低了卷積計(jì)算量，提升了移動(dòng)端前向計(jì)算的速度。

5.1 卷積分解

MobileNet借鑒factorized convolution的思想，將普通卷積操作分成兩部分：

Depthwise Convolution

每個(gè)卷積核濾波器只針對(duì)特定的輸入通道進(jìn)行卷積操作，如下圖所示，其中M是輸入通道數(shù)，DK是卷積核尺寸：

圖7 Depthwise Convolution

Depthwise convolution的計(jì)算復(fù)雜度為 DKDKMDFDF，其中DF是卷積層輸出的特征圖的大小。

Pointwise Convolution
采用1x1大小的卷積核將depthwise convolution層的多通道輸出進(jìn)行結(jié)合，如下圖，其中N是輸出通道數(shù)：

圖8 Pointwise Convolution[

Pointwise Convolution的計(jì)算復(fù)雜度為 MNDFDF

上面兩步合稱depthwise separable convolution

標(biāo)準(zhǔn)卷積操作的計(jì)算復(fù)雜度為DKDKMNDFDF

因此，通過將標(biāo)準(zhǔn)卷積分解成兩層卷積操作，可以計(jì)算出理論上的計(jì)算效率提升比例：

對(duì)于3x3尺寸的卷積核來說，depthwise separable convolution在理論上能帶來約8～9倍的效率提升。

5.2 模型架構(gòu)

圖9 普通卷積單元與MobileNet 卷積單元對(duì)比