以卷積神經(jīng)網(wǎng)絡(luò)為例，我們用圖2來展示入門需要掌握的知識。起點(diǎn)是Hubel和Wiesel的對貓的視覺皮層的研究，再到日本學(xué)者福島邦彥神經(jīng)認(rèn)知機(jī)模型（已經(jīng)出現(xiàn)了卷積結(jié)構(gòu)），但是第一個CNN模型誕生于1989年，1998年誕生了后來被大家熟知的LeNet。隨著ReLU和Dropout的提出，以及GPU和大數(shù)據(jù)所帶來的歷史機(jī)遇，CNN在2012年迎來了歷史性的突破——誕生了AlexNet網(wǎng)絡(luò)結(jié)構(gòu)。2012年之后，CNN的演化路徑可以總結(jié)為四條：

更深的網(wǎng)絡(luò)；

增強(qiáng)卷積模的功能以及上訴兩種思路的融合ResNet和各種變種；

從分類到檢測，最新的進(jìn)展為ICCV 2017的Best Paper Mask R-CNN；

增加新的功能模塊。

深度學(xué)習(xí)實(shí)踐入門

掌握一個開源深度學(xué)習(xí)框架的使用，并進(jìn)一步地研讀代碼，是實(shí)際掌握深度學(xué)習(xí)技術(shù)的必經(jīng)之路。當(dāng)前使用最為廣泛的深度學(xué)習(xí)框架包括Tensorflow、Caffe、MXNet和PyTorch等。框架的學(xué)習(xí)沒有捷徑，按照官網(wǎng)的文檔step by step配置及操作，參與GitHub社區(qū)的討論，遇到不能解答的問題及時Google是快速實(shí)踐入門的好方法。

初步掌握框架之后，進(jìn)一步的提升需要依靠于具體的研究問題，一個短平快的策略是先刷所在領(lǐng)域權(quán)威的Benchmark。例如人臉識別領(lǐng)域的LFW和MegaFace，圖像識別領(lǐng)域與物體檢測領(lǐng)域的ImageNet、Microsoft COCO，圖像分割領(lǐng)域的Pascal VOC等。通過復(fù)現(xiàn)或改進(jìn)別人的方法，親手操練數(shù)據(jù)的準(zhǔn)備、模型的訓(xùn)練以及調(diào)參，能在所在領(lǐng)域的Benchmark上達(dá)到當(dāng)前最好的結(jié)果，實(shí)踐入門的環(huán)節(jié)就算初步完成了。

后續(xù)的進(jìn)階，就需要在實(shí)戰(zhàn)中不斷地去探索和提升了。例如：熟練的處理大規(guī)模的訓(xùn)練數(shù)據(jù)，精通精度和速度的平衡，掌握調(diào)參技巧、快速復(fù)現(xiàn)或改進(jìn)他人的工作，能夠?qū)崿F(xiàn)新的方法等等。

深度學(xué)習(xí)實(shí)戰(zhàn)經(jīng)驗

在這里，分享四個方面的深度學(xué)習(xí)實(shí)戰(zhàn)經(jīng)驗。

1. 充足的數(shù)據(jù)

大量且有標(biāo)注的數(shù)據(jù)，依舊在本質(zhì)上主宰著深度學(xué)習(xí)模型的精度，每一個深度學(xué)習(xí)從業(yè)者都需要認(rèn)識到數(shù)據(jù)極端重要。獲取數(shù)據(jù)的方式主要有三種：開放數(shù)據(jù)（以學(xué)術(shù)界開放為主，如ImageNet和LFW）、第三方數(shù)據(jù)公司的付費(fèi)數(shù)據(jù)和結(jié)合自身業(yè)務(wù)產(chǎn)生的數(shù)據(jù)。

2. 熟練的編程實(shí)現(xiàn)能力

深度學(xué)習(xí)算法的實(shí)現(xiàn)離不開熟練的編程能力，熟練使用Python進(jìn)行編程是基礎(chǔ)。如果進(jìn)一步的修改底層實(shí)現(xiàn)或增加新的算法，則可能需要修改底層代碼，此時熟練的C++編程能力就變得不可或缺。一個明顯的現(xiàn)象是，曾經(jīng)只需要掌握Matlab就可以笑傲江湖的計算機(jī)視覺研究者，如今也紛紛需要開始補(bǔ)課學(xué)習(xí)Python和C++了。

3. 充裕的GPU資源

深度學(xué)習(xí)的模型訓(xùn)練依賴于充裕的GPU資源，通過多機(jī)多卡的模型并行，就可以有效的提高模型收斂速度，從而更快的完成算法驗證和調(diào)參。一個專業(yè)從事深度學(xué)習(xí)的公司或?qū)嶒炇遥瑩碛袛?shù)十塊到數(shù)百塊的GPU資源已經(jīng)是普遍現(xiàn)象。

4. 創(chuàng)新的方法

以深度學(xué)習(xí)領(lǐng)域權(quán)威的ImageNet競賽為例，從2012年深度學(xué)習(xí)技術(shù)在競賽中奪魁到最后一屆2017競賽，方法創(chuàng)新始終是深度學(xué)習(xí)進(jìn)步的核心動力。如果只是滿足于多增加一點(diǎn)數(shù)據(jù)，把網(wǎng)絡(luò)加深或調(diào)幾個SGD的參數(shù)，那么是難以做出真正一流的成果的。

根據(jù)筆者的切身經(jīng)歷，方法創(chuàng)新確實(shí)能帶來難以置信的結(jié)果。一次參加阿里巴巴組織的天池圖像檢索比賽，筆者提出的一點(diǎn)創(chuàng)新——使用標(biāo)簽有噪聲數(shù)據(jù)的新型損失函數(shù)，結(jié)果竟極大地提高了深度模型的精度，還拿到了當(dāng)年的冠軍。

深度學(xué)習(xí)前沿

前沿信息的來源：