引言

學過化學的都知道蒸餾這個概念，就是利用不同組分的沸點不同，將不同組分從混合液中分離出來。知識蒸餾用于網絡壓縮，也具有類似的性質。具體的講，有一個大的神經網絡充當了“老師”的角色，她將書本上的知識先經過自己的轉化和吸收，然后再傳授給“學生”網絡。學生網絡模型相對較小，但是經過老師將知識提取教授，也可以實現大網絡的功能。

知識蒸餾的方法是大名鼎鼎的Hinton提出的，這種方法實現了大網絡向小網絡的知識遷移，使得應用場景可以擴展到移動端。接下來我們具體看看知識蒸餾的整個過程。

1

原理

表面上看，大網絡應該有更好的表達能力，或者說泛化能力。而小網絡節點數量和大網絡還有很大的差距，它如何能夠做到逼近大網絡的結果呢？首先，這與具體的應用場景范圍有關，在一定的場景下，小網絡可以接近大網絡的分類能力。這就好像對于某個更復雜的函數，當限定某個值域的時候，可以用一些簡單函數來逼近。其次，網絡分類器最終的結果是用概率來表示的，分類結果取決于概率最大的。因此最大概率是90%和最大概率是60%的最終分類結果是一樣的，這點就給了小網絡更靈活的表達方式。最后就是小網絡逼近大網絡的程度和大網絡的冗余程度有關，這類似于對大網絡實行剪枝的結果。

那么如何訓練一個小網絡呢？我們可以先考慮一下在數值分析中，用一個函數S(x)來逼近另外一個函數f(x)，那么就可以通過最小化這兩個函數在每個點的平方和來實現。同理，訓練小的網絡也必須使用大網絡的輸入和輸出作為訓練集，而不能再使用訓練大網絡的訓練集了。原始訓練集的標注結果是絕對的（是和不是：1,0），而大網絡的輸出結果是一個概率向量，其包含了每一類的概率大小。這個結果不再僅僅只含有原始訓練集的信息，它還包含了大網絡的信息。比如在原始圖片中，一張貓的圖片結果只有一個，但是經過大網絡后，不僅僅有貓的結果，還有狗，房子，樹等每個類別的概率結果。其他類別的概率實際上告訴了我們不同類別之間存在的差異和共性，比如一張貓的圖片中是狗的概率可能就比是房子的概率大，因為貓和狗相對于貓和房子有更大的共性。

神經網絡通常使用softmax函數來生成分類概率，這個函數形式為：

其中T是溫度，通常設置為1。使用較高的T可以產生更加softer的概率分布。更softer的概率分布提高網絡的泛化能力，有利于小網絡的訓練。

寫到這里小編對softmax函數感到好奇，為什么神經網絡都采用softmax來進行概率計算呢？學過熱力學的會發現，這個softmax函數非常類似不同能級上粒子分布概率，位于能級E的粒子分布概率就是正比于：

而且溫度越高高能級粒子概率也越大，這與softmax函數也有同樣的結果。其實觀察他們的推導過程就會發現，它們之所以有相同的形式來自于它們都是多分類問題，而且概率模型都屬于廣義線性模型。Softmax函數正是在廣義線性函數的假設上推導出來的。現在我們給出其傳統推導，和基于熱力學統計的推導方法。

首先看什么是廣義線性模型，廣義線性模型是用于處理條件概率的一個基本模型，很多常見的分布模型（伯努利，高斯等）都屬于廣義線性模型。定義線性預測算子：

定義y基于x的條件概率分布，這個分布就是廣義線性模型：

分類問題就是求在給定輸入x的條件下，估計y值，即y屬于哪個類的問題。可以通過期望值來作為y的估計。容易得到這個期望值為：

因此一旦知道y的概率分布就知道了y的估計。這個估計就是回歸函數。現在我們來看softmax的傳統推導。

Y有多個可能的分類：

每種分類對應著概率：

定義：

其中有：

于是得到廣義分布：

其中有，

然后可以求出：

求得估計值：

這就是softmax函數。

現在我們從統計熱力學角度來推導softmax函數。

神經網絡的作用是對輸入進行特征提取，我們可以把這個提取過程表示為：

現在我們需要來理解E_i，這個應該是表示從屬于特征i的程度，我們可以選擇一定函數f(E_i)來作為評價屬于特征i的程度。現在我們假設特征1到k是可以涵蓋所有輸入的，即任何輸入都是由這些特征構成的，特征值反應了輸入屬于某個特征的量，那么所有這些特征的量之和應該是所有輸入量的和，那么我們可以有：

我們現在需要求y屬于這個特征的概率，即：

現在我們假設有N個數，這些數要分配不同的y值。這些數被分配是完全隨機的，但是受到每種y值的數量限制，對應E_i的數量為N_i。那么將這N個數分配給k個不同類的分配方式可以得到：

我們來最大化W，即求最大似然函數：

滿足約束條件：

我們利用拉格朗日對偶原理來求解極值：

我們可以得到類似玻爾茲曼分布的公式：

其中u就是溫度1/T。

現在回到正題，過于softer的代價函數可能會造成分類結果錯誤率低，為了平衡分類錯誤和小模型泛化能力，hinton提出使用兩個代價函數來進行訓練，一個是T值較大，另外一個是T值為1。通過調節這兩個代價函數的比例來獲得滿意的訓練結果。

2

實驗結果

Hinton的論文中分別在MINIST，語音識別上進行了實驗。我們僅僅看一下實驗結果，對知識蒸餾效果有個簡單印象。更深入的理解離不開實踐，只有真正去寫代碼去看結果，才能不會紙上談兵。

1） MINIST

大網絡含有2個隱含層，1200個激活單元，60000個訓練集圖片。作者通過剪枝來將大網絡減小到只有800個激活單元，將溫度增加到20，相比于沒有regularization會減小很大錯誤率。

2） 語音識別

這里作者使用多個小網絡集合來作為教師網絡，然后單個網絡作為學生網絡。每個網絡為8個隱含層，2560個激活單元，訓練集有14000個標注數據。結果如下：

其中WER為錯誤率。

總結

本文介紹了網絡壓縮算法，知識蒸餾。很多是小編個人理解，如有不同意見歡迎指正交流。更多可以參考hinton大神的知識蒸餾文獻。