如果你稍微了解一點(diǎn)深度學(xué)習(xí)的知識(shí)或者看過(guò)深度學(xué)習(xí)的在線課程，你就一定知道最基礎(chǔ)的多分類問(wèn)題。當(dāng)中，老師一定會(huì)告訴你在全連接層后面應(yīng)該加上 Softmax 函數(shù)，如果正常情況下（不正常情況指的是類別超級(jí)多的時(shí)候）用交叉熵函數(shù)作為損失函數(shù)，你就一定可以得到一個(gè)讓你基本滿意的結(jié)果。而且，現(xiàn)在很多開(kāi)源的深度學(xué)習(xí)框架，直接就把各種損失函數(shù)寫(xiě)好了（甚至在 Pytorch中 CrossEntropyLoss 已經(jīng)把 Softmax函數(shù)集合進(jìn)去了），你根本不用操心怎么去實(shí)現(xiàn)他們，但是你真的理解為什么要這么做嗎？這篇小文就將告訴你：Softmax 是如何把 CNN 的輸出轉(zhuǎn)變成概率，以及交叉熵是如何為優(yōu)化過(guò)程提供度量。為了讓讀者能夠深入理解，我們將會(huì)用 Python 一一實(shí)現(xiàn)他們。

▌Softmax函數(shù)

Softmax 函數(shù)接收一個(gè) 這N維向量作為輸入，然后把每一維的值轉(zhuǎn)換成（0，1）之間的一個(gè)實(shí)數(shù)，它的公式如下面所示：

正如它的名字一樣，Softmax 函數(shù)是一個(gè)“軟”的最大值函數(shù)，它不是直接取輸出的最大值那一類作為分類結(jié)果，同時(shí)也會(huì)考慮到其它相對(duì)來(lái)說(shuō)較小的一類的輸出。

說(shuō)白了，Softmax 可以將全連接層的輸出映射成一個(gè)概率的分布，我們訓(xùn)練的目標(biāo)就是讓屬于第k類的樣本經(jīng)過(guò) Softmax 以后，第 k 類的概率越大越好。這就使得分類問(wèn)題能更好的用統(tǒng)計(jì)學(xué)方法去解釋了。

使用 Python，我們可以這么去實(shí)現(xiàn) Softmax 函數(shù)：

我們需要注意的是，在 numpy 中浮點(diǎn)類型是有數(shù)值上的限制的，對(duì)于float64，它的上限是。對(duì)于指數(shù)函數(shù)來(lái)說(shuō)，這個(gè)限制很容易就會(huì)被打破，如果這種情況發(fā)生了 python 便會(huì)返回?nan。

為了讓 Softmax 函數(shù)在數(shù)值計(jì)算層面更加穩(wěn)定，避免它的輸出出現(xiàn)nan這種情況，一個(gè)很簡(jiǎn)單的方法就是對(duì)輸入向量做一步歸一化操作，僅僅需要在分子和分母上同乘一個(gè)常數(shù)C，如下面的式子所示

理論上來(lái)說(shuō)，我們可以選擇任意一個(gè)值作為，但是一般我們會(huì)選擇

通過(guò)這種方法就使得原本非常大的指數(shù)結(jié)果變成0，避免出現(xiàn)?nan的情況。

同樣使用 Python，改進(jìn)以后的 Softmax 函數(shù)可以這樣寫(xiě)：

▌Softmax 函數(shù)的導(dǎo)數(shù)推倒過(guò)程

通過(guò)上文我們了解到，Softmax 函數(shù)可以將樣本的輸出轉(zhuǎn)變成概率密度函數(shù)，由于這一很好的特性，我們就可以把它加裝在神經(jīng)網(wǎng)絡(luò)的最后一層，隨著迭代過(guò)程的不斷深入，它最理想的輸出就是樣本類別的 One-hot 表示形式。進(jìn)一步我們來(lái)了解一下如何去計(jì)算 Softmax 函數(shù)的梯度（雖然有了深度學(xué)習(xí)框架這些都不需要你去一步步推導(dǎo)，但為了將來(lái)能設(shè)計(jì)出新的層，理解反向傳播的原理還是很重要的），對(duì) Softmax 的參數(shù)求導(dǎo)：

根據(jù)商的求導(dǎo)法則，對(duì)于其導(dǎo)數(shù)為?

。在中，一直都是?但是在?中，當(dāng)且僅當(dāng)?的時(shí)候，才為。具體的過(guò)程，我們看一下下面的步驟：

如果

如果

所以 Softmax 函數(shù)的導(dǎo)數(shù)如下面所示：

▌交叉熵?fù)p失函數(shù)

下面我們來(lái)看一下對(duì)模型優(yōu)化真正起到作用的損失函數(shù)——交叉熵?fù)p失函數(shù)。交叉熵函數(shù)體現(xiàn)了模型輸出的概率分布和真實(shí)樣本的概率分布的相似程度。它的定義式就是這樣：

在分類問(wèn)題中，交叉熵函數(shù)已經(jīng)大范圍的代替了均方誤差函數(shù)。也就是說(shuō)，在輸出為概率分布的情況下，就可以使用交叉熵函數(shù)作為理想與現(xiàn)實(shí)的度量。這也就是為什么它可以作為有 Softmax 函數(shù)激活的神經(jīng)網(wǎng)絡(luò)的損失函數(shù)。

我們來(lái)看一下，在 Python 中是如何實(shí)現(xiàn)交叉熵函數(shù)的：

▌交叉熵?fù)p失函數(shù)的求導(dǎo)過(guò)程

就像我們之前所說(shuō)的，Softmax 函數(shù)和交叉熵?fù)p失函數(shù)是一對(duì)好兄弟，我們用上之前推導(dǎo) Softmax 函數(shù)導(dǎo)數(shù)的結(jié)論，配合求導(dǎo)交叉熵函數(shù)的導(dǎo)數(shù)：

加上 Softmax 函數(shù)的導(dǎo)數(shù):

y 代表標(biāo)簽的 One-hot 編碼，因此因此我們就可以得到：

可以看到，這個(gè)結(jié)果真的太簡(jiǎn)單了，不得不佩服發(fā)明它的大神們！最后，我們把它轉(zhuǎn)換成代碼：

▌小結(jié)

需要注意的是，正如我之前提到過(guò)的，在許多開(kāi)源的深度學(xué)習(xí)框架中，Softmax 函數(shù)被集成到所謂的 CrossEntropyLoss 函數(shù)中。比如 Pytorch 的說(shuō)明文檔，就明確地告訴讀者 CrossEntropyLoss 這個(gè)損失函數(shù)是 Log-Softmax 函數(shù)和負(fù)對(duì)數(shù)似然函數(shù)（NLLoss）的組合，也就是說(shuō)當(dāng)你使用它的時(shí)候，沒(méi)有必要再在全連接層后面加入 Softmax 函數(shù)。還有許多文章中會(huì)提到 SoftmaxLoss，其實(shí)它就是 Softmax 函數(shù)和交叉熵函數(shù)的組合，跟我們說(shuō)的 CrossEntropyLoss 函數(shù)是一個(gè)意思，這點(diǎn)需要讀者自行分辨即可。