模型構(gòu)建

在模型構(gòu)建方面，Neural Network Toolbox 增加了對(duì)復(fù)雜架構(gòu)的支持，包括有向無(wú)環(huán)圖（DAG）和長(zhǎng)短期記憶（LSTM）網(wǎng)絡(luò)等，并提供對(duì) GoogLeNet 等流行的預(yù)訓(xùn)練模型的訪問(wèn)方式。陳建平表示：「其實(shí) MATLAB 在 2016 年的時(shí)候就已經(jīng)支持一些深度學(xué)習(xí)模型，而現(xiàn)在不僅支持 VGGNet 和 GoogleNet 等流行的預(yù)訓(xùn)練模型，同時(shí)還支持使用 Caffe Model Importer 直接從 Caffe 中導(dǎo)入。」

因?yàn)槲覀兛梢灾苯訌?Caffe Model Zoo 中導(dǎo)入各種優(yōu)秀與前沿的模型，所以 MATLAB 在模型方面可以提供廣泛的支持。但直接從 Caffe 中導(dǎo)入模型又會(huì)產(chǎn)生一個(gè)疑惑，即如果我們?cè)?Python 環(huán)境下使用 Caffe 構(gòu)建了一個(gè)模型，那么導(dǎo)入 MATLAB 是不是需要轉(zhuǎn)寫代碼，會(huì)不會(huì)需要做一些額外的工作以完成導(dǎo)入？對(duì)此，陳建平解答到：「假設(shè)我們使用 Python 和 Caffe 完成了一個(gè)模型，并保存以 Caffe 格式，那么 Caffe Model Importer 會(huì)直接從保存的 Caffe 格式中讀取模型。在這個(gè)過(guò)程中，Caffe 并不需要為 MATLAB 做額外的工作，所有的轉(zhuǎn)換結(jié)果都是 MATLAB 完成的?！?/p>

在導(dǎo)入模型后，我們可以直接使用類似于 Keras 的高級(jí) API 修改模型或重建模型。下面將簡(jiǎn)要介紹如何導(dǎo)入預(yù)訓(xùn)練 AlexNet，并修改完成遷移學(xué)習(xí)。

首先我們需要導(dǎo)入 AlexNet，如果 Neural Network Toolbox 中沒(méi)有安裝 AlexNet，那么軟件會(huì)提供下載地址。

　　net = alexnet;

　　net.Layers

上面的語(yǔ)句將導(dǎo)入 AlexNet，并如下所示展示整個(gè) CNN 的神經(jīng)網(wǎng)絡(luò)架構(gòu)。其中 MATLAB 會(huì)展示所有的操作層，每一層都給出了層級(jí)名、操作類型和層級(jí)參數(shù)等關(guān)鍵信息。例如第二個(gè)操作層『conv1』表示一個(gè)卷積運(yùn)算，該運(yùn)算采用了 96 個(gè)卷積核，每一個(gè)卷積核的尺寸為 11×11×3、步幅為 4，該卷積運(yùn)算采用了 padding。

這種描述不僅有利于我們了解整個(gè)神經(jīng)網(wǎng)絡(luò)的架構(gòu)，同時(shí)還有助于調(diào)整架構(gòu)以匹配特定的任務(wù)。由上可知最后的全連接層、softmax 層和分類輸出層是與 ImageNet 任務(wù)相關(guān)聯(lián)的配置，因此我們需要去除這三個(gè)層級(jí)并重新構(gòu)建與當(dāng)前任務(wù)相關(guān)聯(lián)的層級(jí)。MATLAB 可以十分簡(jiǎn)潔地實(shí)現(xiàn)這一過(guò)程：

由上面的代碼可知我們只提取了 AlexNet 預(yù)訓(xùn)練模型的前 22 層，而后依次新建了全連接層、softmax 層和分類輸出層。完成整個(gè)層級(jí)重構(gòu)后，剩下的就只需使用以下代碼訓(xùn)練新的模型。其中 trainingImages 為當(dāng)前任務(wù)的訓(xùn)練樣本、layers 為前面修正的層級(jí)，而 options 是我們?cè)O(shè)置的一組訓(xùn)練參數(shù)，包括優(yōu)化算法、最小批量大小、初始化學(xué)習(xí)率、繪制訓(xùn)練過(guò)程和驗(yàn)證集配置等設(shè)定。

netTransfer = trainNetwork（trainingImages，layers，options）;

由上，我們發(fā)現(xiàn) MATLAB 的深度學(xué)習(xí)代碼非常簡(jiǎn)潔，調(diào)用高級(jí) API 能快速完成模型的搭建。陳建平說(shuō)：「MATLAB 上的高級(jí) API 是一個(gè)完整的體系，它們完全是針對(duì)深度學(xué)習(xí)而設(shè)計(jì)的。當(dāng)然我們還是會(huì)用基礎(chǔ)的運(yùn)算，因?yàn)?MATLAB 這么多年的累積可以充分體現(xiàn)在基礎(chǔ)運(yùn)算上，但是深度學(xué)習(xí)這一套高級(jí) API 確實(shí)是新設(shè)計(jì)的。」

其實(shí)不只是 AlexNet，很多 Caffe 模型都能夠?qū)氲?MATLAB。那么，MATLAB 為什么會(huì)選擇 Caffe 作為對(duì)接的深度學(xué)習(xí)框架，而不是近來(lái)十分流行的 TensorFlow？

陳建平解釋說(shuō)：「MATLAB 選擇 Caffe 其實(shí)是有很多歷史原因的，因?yàn)?Caffe 在 CNN 上做得非常好，傳統(tǒng)上它在圖像方面就是一個(gè)非常優(yōu)秀的框架，從這個(gè)角度我們優(yōu)先選擇了 Caffe 作為支持的深度學(xué)習(xí)框架。當(dāng)然，MATLAB 在很快也會(huì)有針對(duì) TensorFlow 的導(dǎo)入功能。」