人類(lèi)一直試圖讓機(jī)器具有智能，也就是人工智能（Artificial Intelligence）。從上世紀(jì) 50 年代，人工智能的發(fā)展經(jīng)歷了“推理期”，通過(guò)賦予機(jī)器邏輯推理能力使機(jī)器獲得智能，當(dāng)時(shí)的 AI 程序能夠證明一些著名的數(shù)學(xué)定理，但由于機(jī)器缺乏知識(shí)，遠(yuǎn)不能實(shí)現(xiàn)真正的智能。因此，70 年代，人工智能的發(fā)展進(jìn)入“知識(shí)期”，即將人類(lèi)的知識(shí)總結(jié)出來(lái)教給機(jī)器，使機(jī)器獲得智能。在這一時(shí)期，大量的專(zhuān)家系統(tǒng)問(wèn)世，在很多領(lǐng)域取得大量成果，但由于人類(lèi)知識(shí)量巨大，故出現(xiàn)“知識(shí)工程瓶頸”。無(wú)論是“推理期”還是“知識(shí)期”，機(jī)器都是按照人類(lèi)設(shè)定的規(guī)則和總結(jié)的知識(shí)運(yùn)作，永遠(yuǎn)無(wú)法超越其創(chuàng)造者，其次人力成本太高。于是，一些學(xué)者就想到，如果機(jī)器能夠自我學(xué)習(xí)問(wèn)題不就迎刃而解了嗎！機(jī)器學(xué)習(xí)（Machine Learning）方法應(yīng)運(yùn)而生，人工智能進(jìn)入“機(jī)器學(xué)習(xí)時(shí)期”。“機(jī)器學(xué)習(xí)時(shí)期”也分為三個(gè)階段，80 年代，連接主義較為流行，代表工作有感知機(jī)（Perceptron）和神經(jīng)網(wǎng)絡(luò)（Neural Network）。90 年代，統(tǒng)計(jì)學(xué)習(xí)方法開(kāi)始占據(jù)主流舞臺(tái)，代表性方法有支持向量機(jī)（Support Vector Machine），進(jìn)入 21 世紀(jì)，深度神經(jīng)網(wǎng)絡(luò)被提出，連接主義卷土從來(lái)，隨著數(shù)據(jù)量和計(jì)算能力的不斷提升，以深度學(xué)習(xí)（Deep Learning）為基礎(chǔ)的諸多 AI 應(yīng)用逐漸成熟。

　　所以，人工智能是追求目標(biāo)，機(jī)器學(xué)習(xí)是實(shí)現(xiàn)手段，深度學(xué)習(xí)是其中一種方法。

　　在過(guò)去幾年中，深度學(xué)習(xí)已成為大多數(shù) AI 類(lèi)型問(wèn)題的首選技術(shù)，掩蓋了經(jīng)典的機(jī)器學(xué)習(xí)。其中明顯的原因是深度學(xué)習(xí)已經(jīng)在包括言語(yǔ)、自然語(yǔ)言、視覺(jué)和玩游戲在內(nèi)的各種各樣的任務(wù)中多次表現(xiàn)出優(yōu)異的表現(xiàn)。然而，盡管深度學(xué)習(xí)具有如此高的性能，但使用經(jīng)典的機(jī)器學(xué)習(xí)和一些特定的情況下，使用線性回歸或決策樹(shù)而不是大型深度網(wǎng)絡(luò)會(huì)更好。 我們將比較深度學(xué)習(xí)與傳統(tǒng)的機(jī)器學(xué)習(xí)技術(shù)。在這樣做的過(guò)程中，我們將找出兩種技術(shù)的優(yōu)點(diǎn)和缺點(diǎn)，以及它們?cè)谀睦铮绾潍@得最佳的使用。

　　不需要特征工程：經(jīng)典的 ML 算法通常需要復(fù)雜的特征工程。首先在數(shù)據(jù)集上執(zhí)行深度探索性數(shù)據(jù)分析，然后做一個(gè)簡(jiǎn)單的降低維數(shù)的處理。最后，必須仔細(xì)選擇最佳功能以傳遞給 ML 算法。當(dāng)使用深度網(wǎng)絡(luò)時(shí)，不需要這樣做，因?yàn)橹恍鑼?shù)據(jù)直接傳遞到網(wǎng)絡(luò)，通常就可以實(shí)現(xiàn)良好的性能。這完全消除了整個(gè)過(guò)程的大型和具有挑戰(zhàn)性的特征工程階段。適應(yīng)性強(qiáng)，易于轉(zhuǎn)換：與傳統(tǒng)的 ML 算法相比，深度學(xué)習(xí)技術(shù)可以更容易地適應(yīng)不同的領(lǐng)域和應(yīng)用。首先，遷移學(xué)習(xí)使得預(yù)先訓(xùn)練的深度網(wǎng)絡(luò)適用于同一領(lǐng)域內(nèi)的不同應(yīng)用程序是有效的。例如，在計(jì)算機(jī)視覺(jué)中，預(yù)先訓(xùn)練的圖像分類(lèi)網(wǎng)絡(luò)通常用作對(duì)象檢測(cè)和分割網(wǎng)絡(luò)的特征提取前端。將這些預(yù)先訓(xùn)練的網(wǎng)絡(luò)用作前端，可以減輕整個(gè)模型的訓(xùn)練，并且通常有助于在更短的時(shí)間內(nèi)實(shí)現(xiàn)更高的性能。此外，不同領(lǐng)域使用的深度學(xué)習(xí)的基本思想和技術(shù)往往是相當(dāng)可轉(zhuǎn)換的。例如，一旦了解了語(yǔ)音識(shí)別領(lǐng)域的基礎(chǔ)深度學(xué)習(xí)理論，那么學(xué)習(xí)如何將深度網(wǎng)絡(luò)應(yīng)用于自然語(yǔ)言處理并不是太具有挑戰(zhàn)性，因?yàn)榛鶞?zhǔn)知識(shí)非常相似。對(duì)于經(jīng)典 ML 來(lái)說(shuō)，情況并非如此，因?yàn)闃?gòu)建高性能 ML 模型需要特定領(lǐng)域和特定應(yīng)用的 ML 技術(shù)和特征工程。對(duì)于不同的領(lǐng)域和應(yīng)用而言，經(jīng)典 ML 的知識(shí)庫(kù)是非常不同的，并且通常需要在每個(gè)單獨(dú)的區(qū)域內(nèi)進(jìn)行廣泛的專(zhuān)業(yè)研究。

　　經(jīng)典機(jī)器學(xué)習(xí)》深度學(xué)習(xí)

　　對(duì)小數(shù)據(jù)更好：為了實(shí)現(xiàn)高性能，深層網(wǎng)絡(luò)需要非常大的數(shù)據(jù)集。之前提到的預(yù)先訓(xùn)練過(guò)的網(wǎng)絡(luò)在 120 萬(wàn)張圖像上進(jìn)行了訓(xùn)練。對(duì)于許多應(yīng)用來(lái)說(shuō)，這樣的大數(shù)據(jù)集并不容易獲得，并且花費(fèi)昂貴且耗時(shí)。對(duì)于較小的數(shù)據(jù)集，傳統(tǒng)的 ML 算法通常優(yōu)于深度網(wǎng)絡(luò)。財(cái)務(wù)和計(jì)算都便宜：深度網(wǎng)絡(luò)需要高端 GPU 在大量數(shù)據(jù)的合理時(shí)間內(nèi)進(jìn)行訓(xùn)練。這些 GPU 非常昂貴，但是如果沒(méi)有他們訓(xùn)練深層網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)高性能，這在實(shí)際上并不可行。要有效使用這樣的高端 GPU，還需要快速的 CPU、SSD 存儲(chǔ)以及快速和大容量的 RAM。傳統(tǒng)的 ML 算法只需要一個(gè)體面的 CPU 就可以訓(xùn)練得很好，而不需要最好的硬件。由于它們?cè)谟?jì)算上并不昂貴，因此可以更快地迭代，并在更短的時(shí)間內(nèi)嘗試許多不同的技術(shù)。更容易理解：由于傳統(tǒng) ML 中涉及直接特征工程，這些算法很容易解釋和理解。此外，調(diào)整超參數(shù)并更改模型設(shè)計(jì)更加簡(jiǎn)單，因?yàn)槲覀儗?duì)數(shù)據(jù)和底層算法都有了更全面的了解。另一方面，深層網(wǎng)絡(luò)是“黑匣子”型，即使現(xiàn)在研究人員也不能完全了解深層網(wǎng)絡(luò)的“內(nèi)部”。由于缺乏理論基礎(chǔ)、超參數(shù)和網(wǎng)絡(luò)設(shè)計(jì)也是一個(gè)相當(dāng)大的挑戰(zhàn)。