有意思的是，這個回答，來自O(shè)penAI開發(fā)的預(yù)訓(xùn)練語言模型——GPT-3，這個可以跟人類對線、創(chuàng)作小說、編吉他譜的AI，著實(shí)在硅谷火了一把。

很難想象，2017年的ANI（弱人工智能，比如你手機(jī)上的Siri），智商測試的結(jié)果只有47，相當(dāng)于一個六歲孩子的水平。

無疑，像GPT-3這樣的AGI（強(qiáng)人工智能）才是下一代AI的未來。

那實(shí)現(xiàn)從ANI到AGI跨越的關(guān)鍵是什么呢？——算力。GPT-3的高智商，很大程度上得益于算力的提升，它的參數(shù)量是1750 億，足足是 GPT-2 的 116 倍。

不過，麻省理工學(xué)院的研究人員最近發(fā)出了算力警告：深度學(xué)習(xí)正在逼近計算極限。

深度學(xué)習(xí)的阻礙——算力

現(xiàn)代計算機(jī)的計算能力以及可用于饋送算法的大量數(shù)據(jù)，的確讓我們步入了AI開發(fā)的新高度。不過，還不夠。

根據(jù)MIT的一項(xiàng)研究，深度學(xué)習(xí)的進(jìn)展非常依賴算力的增長。他們斷言，必須發(fā)明革命性的算法才能更有效地使用深度學(xué)習(xí)方法。

研究人員分析了預(yù)印本服務(wù)器Arxiv.org上的1058篇論文和其他基準(zhǔn)資料，以理解深度學(xué)習(xí)性能和算力之間的聯(lián)系，主要分析了圖像分類、目標(biāo)檢測、問題回答、命名實(shí)體識別和機(jī)器翻譯等領(lǐng)域兩方面的計算需求:

1、每一網(wǎng)絡(luò)遍歷的計算量，或給定深度學(xué)習(xí)模型中單次遍歷(即權(quán)值調(diào)整)所需的浮點(diǎn)運(yùn)算數(shù)。

2、訓(xùn)練整個模型的硬件負(fù)擔(dān)，用處理器數(shù)量乘以計算速度和時間來估算。

結(jié)論顯示，訓(xùn)練模型的進(jìn)步取決于算力的大幅提高，具體來說，計算能力提高10倍相當(dāng)于3年的算法改進(jìn)成果。

換言之，算力提高的背后，其實(shí)現(xiàn)目標(biāo)所隱含的計算需求——硬件、環(huán)境和金錢等成本將變得無法承受。

計算中有一個稱為摩爾定律的概念，它假定計算能力每兩年翻一番。OpenAI最近發(fā)布的一項(xiàng)研究表明，AI訓(xùn)練中使用的計算能力每3到4個月翻一番，這大大提高了我們習(xí)慣的標(biāo)準(zhǔn)進(jìn)度。自2012年以來，人工智能要求計算能力增加300,000倍，而按照摩爾定律，則只能將AI提升7倍。

人們從來沒有想到過芯片的算力會有到達(dá)極限的一天，至少從來沒有想到芯片算力極限會這么快到來。

深度學(xué)習(xí)的未來

關(guān)于提升算力，我們先把目光投向那些研究AI的大廠。

谷歌團(tuán)隊(duì)去年開發(fā)的一種翻譯算法，大約需要運(yùn)行12,000個專用芯片。據(jù)一些估計，通過云租用這么多的計算機(jī)功能將花費(fèi)多達(dá)300萬美元。

谷歌的高層們轉(zhuǎn)念一想，這成本也太大了，這么下去不是個辦法。于是他們搞起了“量子至上”，并開發(fā)了一種能夠解決計算問題的量子處理器——Sycamore，計算能力相當(dāng)于一臺超級計算機(jī)的10,000多倍。

再看看IBM，谷歌在量子計算領(lǐng)域的最大競爭對手之一，當(dāng)然也不甘示弱。IBM自己的Summit之類的超級計算機(jī)可以在兩步內(nèi)完成與Sycamore處理器相同的計算，僅需半天而不是10,000年。

雖然與谷歌的處理器完成任務(wù)大約需要三分半鐘的時間相比，差距還是比較大的。但在深度學(xué)習(xí)領(lǐng)域取得如此大的進(jìn)展，量子計算是條出路。

在這些大廠相互“廝殺血拼”的時候，吃瓜群眾大都心存疑慮：深度學(xué)習(xí)，或者說機(jī)器學(xué)習(xí)，未來到底在何方？

2020年是至關(guān)重要的一年，這將為AI領(lǐng)域下一個十年的創(chuàng)新定下基調(diào)并繼續(xù)保持現(xiàn)有的勢頭。以下是五個新興AI和機(jī)器學(xué)習(xí)的趨勢：

1）數(shù)字?jǐn)?shù)據(jù)監(jiān)管

在當(dāng)今世界，數(shù)據(jù)就是一切。各種技術(shù)的出現(xiàn)推動了數(shù)據(jù)的補(bǔ)充。無論是汽車工業(yè)還是制造業(yè)；數(shù)據(jù)正以前所未有的速度生成。但是問題是，“所有數(shù)據(jù)都相關(guān)嗎？”

好了，為了解開這個謎團(tuán)，可以部署機(jī)器學(xué)習(xí)，因?yàn)樗梢酝ㄟ^設(shè)置云解決方案和數(shù)據(jù)中心來對任意數(shù)量的數(shù)據(jù)進(jìn)行排序。它僅根據(jù)數(shù)據(jù)的重要性過濾數(shù)據(jù)并調(diào)出功能數(shù)據(jù)，同時保留廢料。這樣，可以節(jié)省時間，組織也可以管理支出。

2020年，將產(chǎn)生大量數(shù)據(jù)，并且行業(yè)將要求機(jī)器學(xué)習(xí)對相關(guān)數(shù)據(jù)進(jìn)行分類以提高效率。

2）語音協(xié)助中的機(jī)器學(xué)習(xí)

語音助手在行業(yè)中占相當(dāng)大的比例。Siri，Cortana，Google Assistant和Amazon Alexa是智能個人助理的熱門示例。

機(jī)器學(xué)習(xí)與人工智能相結(jié)合，可以以最高的準(zhǔn)確性幫助處理操作。因此，機(jī)器學(xué)習(xí)將幫助行業(yè)輕松完成復(fù)雜而重要的任務(wù)，同時提高生產(chǎn)率。

到2020年，不斷增長的研究與投資領(lǐng)域?qū)⒅饕性谔蕴ㄖ圃O(shè)計的機(jī)器學(xué)習(xí)語音幫助上。

3）有效營銷

營銷是每個企業(yè)在激烈的競爭中生存的重要因素。它在推動預(yù)期結(jié)果的同時提升了業(yè)務(wù)的存在性和可見性。但是，利用現(xiàn)有的多個營銷平臺，甚至要證明業(yè)務(wù)存在，就變得具有挑戰(zhàn)性。

但是，如果一家企業(yè)足夠成功，可以從現(xiàn)有用戶數(shù)據(jù)中提取模式，那么就非常有希望制定成功且有效的營銷策略。為了分析數(shù)據(jù)，可以使用機(jī)器學(xué)習(xí)來挖掘數(shù)據(jù)并評估研究方法以獲得更有益的結(jié)果。

在未來一段時間內(nèi)，人們高度期望采用機(jī)器學(xué)習(xí)來定義有效的營銷策略。

4）網(wǎng)絡(luò)安全的發(fā)展

網(wǎng)絡(luò)安全一直是熱門話題，黑客每天創(chuàng)建大量的惡意軟件樣本，借助計算機(jī)、網(wǎng)絡(luò)、程序和數(shù)據(jù)中心，向企業(yè)或政府發(fā)動攻擊。

值得慶幸的是，我們擁有機(jī)器學(xué)習(xí)技術(shù)，可通過自動執(zhí)行復(fù)雜任務(wù)并自行檢測網(wǎng)絡(luò)攻擊來提供多層保護(hù)。不僅如此，機(jī)器學(xué)習(xí)還可以擴(kuò)展為對網(wǎng)絡(luò)安全漏洞做出反應(yīng)并減輕損害。它可以自動響應(yīng)網(wǎng)絡(luò)攻擊，而無需人工干預(yù)。

展望未來，機(jī)器學(xué)習(xí)將用于高級網(wǎng)絡(luò)防御計劃中，以控制并保存損害。

5）可解釋的人工智能-Explainable AI

XAI-可解釋的人工智能是另一個正在討論的未來AI趨勢。如今在許多行業(yè)和用例中，機(jī)器學(xué)習(xí)方法得出的結(jié)果不容易解釋。例如，數(shù)據(jù)科學(xué)家有時可能難以理解導(dǎo)致AI做出特定決定的原因，更不用說向其他人（例如客戶）解釋了。XAI的概念是一種AI，它可以解釋自己的決策過程，它源于能夠解釋算法的推理方式的需要，因?yàn)樗€可以改進(jìn)算法并避免錯誤。

XAI開發(fā)的主要障礙是神經(jīng)網(wǎng)絡(luò)大多不那么容易解釋，因?yàn)楦鲗臃祷貦?quán)重矩陣。已經(jīng)有一些想法正在實(shí)施，例如權(quán)重矩陣的熱圖可以改善神經(jīng)網(wǎng)絡(luò)的可解釋性?？梢钥隙ǖ氖?，未來幾年將在這一領(lǐng)域進(jìn)行更多的研究。

深度學(xué)習(xí)的誤區(qū)

目前，深度學(xué)習(xí)在計算機(jī)視覺、自然語言處理與自然科學(xué)領(lǐng)域均展開了大規(guī)模的應(yīng)用。一方面，深度學(xué)習(xí)有著比其他機(jī)器學(xué)習(xí)算法更加優(yōu)秀的普適性；另一方面，這種普適性是以更高的時間與空間復(fù)雜度為代價的。

作為一名算法工程師，需要做的不僅僅是關(guān)注算法的可行性，還需要關(guān)注算法本身的復(fù)雜度。算法的普適性使深度學(xué)習(xí)算法具有了比其他機(jī)器學(xué)習(xí)算法更加寬廣的想象空間，而這也對相關(guān)從業(yè)者提出了更高的要求，因?yàn)樾枰私舛鄠€學(xué)科的內(nèi)容。

深度學(xué)習(xí)內(nèi)容涉及的統(tǒng)計和幾何內(nèi)容是相對復(fù)雜的知識體系。初學(xué)者缺乏一個合適的實(shí)現(xiàn)過程與理論描述方式，在進(jìn)行深入學(xué)習(xí)時，往往會有以下誤區(qū)：

第一個誤區(qū)是對所有算法均試圖以圖形方式去理解或者尋找一種形象的方式去解釋。這種方式并不可取，因?yàn)槌鯇W(xué)者應(yīng)當(dāng)把精力放于公式之上，這對于算法實(shí)現(xiàn)和定量思維方式的建立都是十分重要的。

第二個誤區(qū)是試圖理解每一個公式，使學(xué)習(xí)過程無法繼續(xù)進(jìn)行。初學(xué)者應(yīng)當(dāng)先建立知識框架，也就是了解每一種算法之間的關(guān)系與內(nèi)在設(shè)計思路，在此之上再進(jìn)行對公式的理解。

第三個誤區(qū)是太過強(qiáng)調(diào)機(jī)器學(xué)習(xí)庫。機(jī)器學(xué)習(xí)庫本身僅是輔助，更多的工作需要依賴于對算法的理解。在深入理解之后就會發(fā)現(xiàn)，幾乎所有的機(jī)器學(xué)習(xí)庫，比如PyTorch、Caffe等，均是十分相近的。

要解決這些問題，就要將精力集中于幾個部分。比如在數(shù)學(xué)基礎(chǔ)部分將主要精力放在理解什么是機(jī)器學(xué)習(xí)以及矩陣相關(guān)的概念；在深度神經(jīng)網(wǎng)絡(luò)部分希望讀者更加關(guān)注于建模思路；深度學(xué)習(xí)建模思路是相近的，理解它有助于快速遷移至其他項(xiàng)目任務(wù)之中。

《深度學(xué)習(xí)算法和實(shí)踐》力求以統(tǒng)一的數(shù)學(xué)語言詳細(xì)而完整地描述深度學(xué)習(xí)理論，內(nèi)容上側(cè)重于與應(yīng)用相關(guān)的重點(diǎn)算法與理論，特別是算法預(yù)測過程。每一章的寫作過程盡量避免使用圖形，取而代之的是詳細(xì)的公式描述，這使讀者初讀本書時可能有些許障礙。但習(xí)慣了公式之后就會發(fā)現(xiàn)，圖形會使我們的理解出現(xiàn)偏差，同時無法進(jìn)行實(shí)現(xiàn)，而公式則沒有這個問題。每一章都盡量對理論有完整的公式推演過程 ，供讀者熟悉理論知識。同時，在章節(jié)最后會對公式進(jìn)行實(shí)現(xiàn)，以幫助讀者在進(jìn)行理論學(xué)習(xí)的同時通過實(shí)踐快速學(xué)握算法。
編輯：hfy