相比于當(dāng)今的其它機器學(xué)習(xí)技術(shù)，深度學(xué)習(xí)能夠提供更加精細(xì)和復(fù)雜的行為，也因此得到了很大的重視，被應(yīng)用在了范圍非常廣泛的應(yīng)用中。

這些性質(zhì)非常重要，尤其是對于輔助駕駛和自動駕駛汽車等安全性至關(guān)重要的設(shè)備以及自然語言處理（機器可以根據(jù)對話的上下文識別詞句的意圖）等領(lǐng)域。

和人工智能與機器學(xué)習(xí)一樣，深度學(xué)習(xí)已經(jīng)得到了數(shù)十年的研究。現(xiàn)在不同的是深度學(xué)習(xí)正被添加到各種類型的芯片中——從數(shù)據(jù)中心到簡單的微控制器。而隨著用于訓(xùn)練和推理的算法越來越有效，機器學(xué)習(xí)/人工智能的這一部分正涌現(xiàn)出各種各樣的應(yīng)用模型——有些針對的是應(yīng)用范圍非常狹窄的應(yīng)用，有的則面向遠(yuǎn)遠(yuǎn)更加廣泛的環(huán)境決策。

Babblabs 的 CEO Chris Rowen 說：“其中有些預(yù)計是用于自動汽車的芯片將會需要的。使用神經(jīng)網(wǎng)絡(luò)的技術(shù)是有效的，而且功耗成本也相當(dāng)?shù)汀Ｋ栽黾由疃葘W(xué)習(xí)子系統(tǒng)是有意義的。我們看到很多創(chuàng)業(yè)公司正在涌入這一市場。光是深度學(xué)習(xí)領(lǐng)域就有 25 家。有的公司面向云，它們希望在這一領(lǐng)域淘汰英偉達(dá)。但也還有一些公司處于市場低端。這兩種情況都是高度結(jié)構(gòu)化的矩陣乘法在需要盡可能快地運行低精度或中等精度計算的領(lǐng)域內(nèi)的一種非常專門化的應(yīng)用方式。這些計算對計算能力的需求是無止盡的。”

對于實現(xiàn)這些目標(biāo)的各種工具、芯片、軟件和專業(yè)知識技能而言，這是個很好的預(yù)兆。

西門子旗下 Mentor 的總裁兼 CEO Wally Rhines 說：“汽車市場領(lǐng)域內(nèi)有大量模式識別工作。你也可以在數(shù)據(jù)對數(shù)據(jù)中心的需求增長上看到這一現(xiàn)象。有數(shù)十家公司在做用于自適應(yīng)學(xué)習(xí)的專用處理器。”

在所有這些市場和許多其它市場中，深度學(xué)習(xí)都是一個正在增長的領(lǐng)域。目前正在開發(fā)深度學(xué)習(xí)芯片的 eSilicon 的營銷副總裁 Mike Gianfagna 說：“深度學(xué)習(xí)已經(jīng)被用來執(zhí)行 iPhoneX 的人臉識別以及用于自然語言處理了，而且它也被設(shè)計用于自動汽車中以識別一個物體是狗還是貓。從表面上看，深度學(xué)習(xí)芯片很像是數(shù)據(jù)中心芯片。它可能會使用 HBM 內(nèi)存堆棧來存儲訓(xùn)練數(shù)據(jù)，從而使數(shù)據(jù)能快速輸入芯片，而且可能使用的是定制的存儲器。但這會比網(wǎng)絡(luò)芯片更容易實現(xiàn)。一個網(wǎng)絡(luò)芯片可能需要 50 到 90 個模塊，但它們?nèi)几鞑幌嗤Ｉ疃葘W(xué)習(xí)芯片的模塊數(shù)量雖然非常大，但大都是同種模塊的重復(fù)。所以它的布局布線更容易，它的模塊也更為緊湊并且表現(xiàn)更好。”

從商業(yè)角度看，深度學(xué)習(xí)、機器學(xué)習(xí)和人工智能可以實現(xiàn)規(guī)模經(jīng)濟(jì)，這能繼續(xù)推動 PC、智能手機/平板電腦和云的銷量。

Rowen 說：“在過去，每秒執(zhí)行數(shù)十億次乘法被認(rèn)為是很大量的。但現(xiàn)在甚至邊緣設(shè)備也能執(zhí)行數(shù)億次乘法。如果你有數(shù)萬億次，它們就可以發(fā)揮很大的價值。你可以在英偉達(dá)最新一代芯片上看到這一點。它們不再是每秒 10 萬億次浮點運算，而是每秒 100 萬億次。但這些也正變得越來越專用，設(shè)計的通用性也越來越差。在提供這種規(guī)模的計算上存在一些非常簡潔的方法。”

圖 1：深度學(xué)習(xí)與機器學(xué)習(xí)的比較，來自 XenonStack

深度學(xué)習(xí)是什么？

盡管深度學(xué)習(xí)很熱門，但深度學(xué)習(xí)的定義仍然還有些晦暗不清。它位于人工智能之下，要么與機器學(xué)習(xí)并列，要么就是機器學(xué)習(xí)的子集。不同之處在于機器學(xué)習(xí)使用的是為特定任務(wù)開發(fā)的算法。深度學(xué)習(xí)則更多是矩陣在多層結(jié)構(gòu)上的數(shù)據(jù)表征，其中每一層都使用前一層的輸出作為輸入。這種方法更近似地模擬了人腦的活動，它不僅能識別一個棒球是否在運動，而且還能大致預(yù)測它落地的位置。

但在這背后，對深度學(xué)習(xí)的確切工作方式還不存在共識，尤其是在其從訓(xùn)練轉(zhuǎn)向推理時。深度學(xué)習(xí)更多的是復(fù)雜行為的數(shù)學(xué)分布。為了得到這種表征并且塑造它，可以利用多種形式的架構(gòu)。深度神經(jīng)網(wǎng)絡(luò)（DNN）和卷積神經(jīng)網(wǎng)絡(luò)（CNN）是最常見的。循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）也所應(yīng)用，這種架構(gòu)增加了時間維。RNN 的缺點是處理、內(nèi)存和存儲需求非常巨大，這將其使用限制在了大型數(shù)據(jù)中心上。

英國計算機科學(xué)家和認(rèn)知心理學(xué)家 Geoffrey Hinton 也一直在推動 capsule 網(wǎng)絡(luò)的概念，這種網(wǎng)絡(luò)是在一個神經(jīng)網(wǎng)絡(luò)的層中堆疊層，基本上也就是增加這些層的密度。據(jù) Hinton 稱，這能得到好得多的結(jié)果，因為它能識別高度重疊的數(shù)字。而且這是當(dāng)今這一領(lǐng)域的大部分研究的主題之一——如何加速這整個過程。

這個問題非常復(fù)雜，人腦已經(jīng)沒辦法搞懂所有一切，所以所有這些都必須得到建模和理論化。對于芯片制造商來說，這不是什么新鮮事。自從芯片達(dá)到 1 微米工藝節(jié)點以來，就已經(jīng)難以可視化一項設(shè)計中的所有不同部分了。但在計算機科學(xué)中，很多進(jìn)展一直在很大程度上是二維的。旋轉(zhuǎn)和傾斜對象的數(shù)學(xué)表示難度要大得多，而且需要大量計算資源。為了提升速度和效率，研究者正試圖找到能約減這些計算的方法。不管，這是一個大難題，而且深度學(xué)習(xí)專家很大程度上對此也還沒有清晰的理解。

Optimal+ 的 CTO Michael Schuldenfrei：“深度學(xué)習(xí)某些部分處于黑箱之中。理解實際的決策過程是很困難的。你可以解釋一個機器學(xué)習(xí)算法源自哪種模型。你要做大量比較不同算法的工作。深度學(xué)習(xí)算法比機器學(xué)習(xí)算法更加復(fù)雜。但我們發(fā)現(xiàn)它們?nèi)加幸粋€共同點：在不同的產(chǎn)品中，來自這些算法的答案可能是不同的。所以在產(chǎn)品 A 上可能隨機森林效果好，而在產(chǎn)品 B 上效果好的卻是另一種算法或算法組合。”

深度學(xué)習(xí)算法可以回溯到 20 世紀(jì) 80 年代末。Cadence 的杰出工程師 David White 說：“很多工作都是從美國郵局開始的，它需要識別手寫的數(shù)字。他們意識到他們需要一種減少輸入空間的規(guī)模的方法，所以他們使用了額外的層來提取特征。自那以后，深度學(xué)習(xí)算法已經(jīng)得到了很大的發(fā)展。”

與機器學(xué)習(xí)相比，深度學(xué)習(xí)算法通常需要遠(yuǎn)遠(yuǎn)更多的計算能力。White 說：“深度學(xué)習(xí)使用的架構(gòu)是特定的。它使用了卷積、池化和特定的激活函數(shù)。有些技術(shù)類似于機器學(xué)習(xí)，有些則不同。”

但是，這種方法并不能讓所有事情都受益。

Babblabs 的 Rowen 說：“更多參數(shù)本質(zhì)上就可以建模非常復(fù)雜的行為。但你必須使用對應(yīng)的數(shù)據(jù)集訓(xùn)練它。如果你的問題很簡單，深度神經(jīng)網(wǎng)絡(luò)不會更準(zhǔn)確。統(tǒng)計建模只能做到這么多。人類可以學(xué)習(xí)到關(guān)于物體的大量事物以及旋轉(zhuǎn)它們時它們會如何移動。比起當(dāng)前的機器學(xué)習(xí)或深度學(xué)習(xí)方法，人腦只需要少得多的樣本就能將這些知識構(gòu)建到人腦中。目前而言，機器還沒有你正在旋轉(zhuǎn)一個物體的概念。它不知道透視。它只能從數(shù)以百萬計的足夠樣本中學(xué)習(xí)到。”

更多市場中的深度學(xué)習(xí)

盡管深度學(xué)習(xí)和機器學(xué)習(xí)分界線并不總是很清楚，但這些不同部分的應(yīng)用正在得到人們的重點關(guān)注。

Synopsys 的嵌入式視覺處理器部門的產(chǎn)品經(jīng)理 Gordon Cooper 表示：“用于嵌入式視覺的深度學(xué)習(xí)有良好的定義。我們也正看到它被用于雷達(dá)和音頻處理——你可以應(yīng)用 CNN 算法來處理。我們也看到有很多有關(guān) IT 流程的請求，要將深度學(xué)習(xí)和人工智能應(yīng)用到這些方面。”

這種技術(shù)越來越容易使用的原因是很多技術(shù)構(gòu)建模塊可以直接使用了，其中包括很多現(xiàn)成可用的算法以及各種現(xiàn)成和定制或半定制的處理器、加速器和廉價的存儲器。Cooper 說：“使用 RNN 時，你可以選擇長短期記憶（LSTM）。如果功耗不是問題，你可以使用 GPU。另外還有嵌入式芯片，它們性能更低，但是更加注重功耗和尺寸。帶寬仍然是一個大問題，尤其是當(dāng)你從 DRAM 存取數(shù)據(jù)時，所以在芯片內(nèi)部有內(nèi)存管理技術(shù)和乘法/累加。”

圖 2：深度學(xué)習(xí)應(yīng)用的增長，來自 Semiconductor Engineering

芯片公司也已經(jīng)通過對這項技術(shù)的內(nèi)部使用而得到一些第一手經(jīng)驗。

eSilicon 的 Gianfagna 說：“現(xiàn)在我們使用機器學(xué)習(xí)來管理我們用于 I/O 吞吐的計算農(nóng)場，這個任務(wù)是很有難度的。我們追蹤所有的 CPU，然后根據(jù)工作來調(diào)校它們并創(chuàng)建預(yù)測負(fù)載。這基本上就是預(yù)測負(fù)載平衡問題，而且其中大部分工作都是在軟件中完成的。谷歌和 AWS（Amazon Web Services）等云公司使用深度學(xué)習(xí)來處理它們的工作流程和負(fù)載平衡，而且它們是用硬件來做的。深度學(xué)習(xí)可能是這些操作中使用芯片最密集的部分。”

這種技術(shù)的一種更新型的應(yīng)用涉及到機器人。Cadence 的 White 說：“這里的關(guān)鍵在于這些設(shè)備需要持續(xù)不斷地學(xué)習(xí)，因為機器人所做的任務(wù)會變化，環(huán)境也會變化。所以如果你在菲律賓而不是歐洲從事生產(chǎn)制造，那么軟件可能就必須適應(yīng)這一點。對于物聯(lián)網(wǎng)領(lǐng)域的很多設(shè)備也是如此。傳感器會出現(xiàn)在差異很大的環(huán)境條件下的系統(tǒng)中。這需要自適應(yīng)的系統(tǒng)，這可能是機器學(xué)習(xí)、深度學(xué)習(xí)和人工智能的下一個大浪潮。對于檢測不同波長的氣體傳感器而言，傳感器的性能會隨信號改變而下降。所以問題是一個系統(tǒng)能否適應(yīng)這種變化并且仍然能完成工作。你總不希望每次鏡頭上冷凝了水珠的時候都關(guān)閉系統(tǒng)吧。”

深度學(xué)習(xí)也正在手機中出現(xiàn)。蘋果公司的 iPhoneX 使用了深度學(xué)習(xí)來做人臉識別。Synopsys 的 Cooper 說：“你也可以在手機上使用它來優(yōu)化圖片，應(yīng)用基于深度神經(jīng)網(wǎng)絡(luò)技術(shù)的濾鏡。但每個市場都有自己的需求。對于癌癥檢測，難點是獲取足夠多的數(shù)據(jù)點。幾萬個是不夠的。汽車行業(yè)則相反，你有大量視頻，但你能用這些數(shù)據(jù)做什么？這里的關(guān)鍵是如何使用技術(shù)找到這些視頻中重要的部分。”

總結(jié)

深度學(xué)習(xí)如何才能得到有效地應(yīng)用，如何理解它能在哪里以及不能在哪里提升價值？半導(dǎo)體行業(yè)才剛剛觸及表面。如何才能使用最少的功耗快速完成所有必需的訓(xùn)練和推理？這方面還將繼續(xù)模糊不清。

在過去，深度學(xué)習(xí)技術(shù)是與大型計算機和超級計算機密切關(guān)聯(lián)的。但隨著設(shè)備越來越小而深度學(xué)習(xí)在更受限的應(yīng)用中得到使用，這項技術(shù)將會在越來越多的市場中產(chǎn)生更大的影響。這個市場的騰飛才剛剛開始。