據(jù)官方公告介紹，因三位巨頭在深度神經(jīng)網(wǎng)絡(luò)概念和工程上的突破，使得 DNN 成為計(jì)算的一個(gè)重要構(gòu)成，從而成為 2018 年圖靈獎得主。

ACM這樣介紹他們?nèi)说某删停?/p>

Hinton、LeCun和Bengio三人為深度神經(jīng)網(wǎng)絡(luò)這一領(lǐng)域建立起了概念基礎(chǔ)，通過實(shí)驗(yàn)揭示了神奇的現(xiàn)象，還貢獻(xiàn)了足以展示深度神經(jīng)網(wǎng)絡(luò)實(shí)際進(jìn)步的工程進(jìn)展。

這是圖靈獎十年來第三次頒給機(jī)器學(xué)習(xí)領(lǐng)域的杰出貢獻(xiàn)者了：2011 年圖靈獎得主為 Judea Pearl，他開發(fā)的概率與因果推理微積分（calculus for probabilistic and causal reasoning）為人工智能發(fā)展做出了重大貢獻(xiàn)。Leslie Gabriel Valiant 獲得了 2010 年圖靈獎，他為計(jì)算理論的發(fā)展作出了變革性貢獻(xiàn)，包括 PAC 學(xué)習(xí)理論、并行與分布計(jì)算理論等。

https://amturing.acm.org/byyear.cfm

其實(shí)，現(xiàn)代神經(jīng)網(wǎng)絡(luò)、機(jī)器學(xué)習(xí)等AI技術(shù)背后的思想，可以追溯到第二次世界大戰(zhàn)行將結(jié)束之際。彼時(shí)，學(xué)者們開始構(gòu)建計(jì)算系統(tǒng)，旨在以類似于人類大腦的方式存儲和處理信息。

而深度神經(jīng)網(wǎng)絡(luò)早在1980年代就已經(jīng)提出，但很快遭受質(zhì)疑。專注于這種方法的學(xué)者，是AI界的少數(shù)派，LeCun、Hinton和Bengio就在其中。

三十多年前，是他們一生的至暗時(shí)刻。

然而，這一小撮“頑固分子”始終堅(jiān)持自己的信念，他們不怕被視作蠢貨，一直相信神經(jīng)網(wǎng)絡(luò)會照亮這個(gè)世界，并改變整個(gè)人類的命運(yùn)。

最終他們的信念，也改變了自己的命運(yùn)。

Geoffrey Hinton

Geoffrey Hinton，1947年生，現(xiàn)年72歲，谷歌的副總裁和工程師，也是AI研究機(jī)構(gòu)Vector Institute的首席科學(xué)顧問和多倫多大學(xué)的名譽(yù)教授。

在ACM頒獎辭博文中，主要提到了Hinton的三個(gè)貢獻(xiàn)，如果你做過AI項(xiàng)目，肯定不會陌生，它們分別是：

反向傳播（Backpropagation）：

1986年，在Learning Internal Representations by Error Propagation這篇論文里，Hinton證明了，反向傳播能讓神經(jīng)網(wǎng)絡(luò)發(fā)現(xiàn)自己內(nèi)部的數(shù)據(jù)表征，這樣便可以處理以往無法解決的問題。

如今，反向傳播已經(jīng)是神經(jīng)網(wǎng)絡(luò)的標(biāo)準(zhǔn)操作，Hinton也有了“反向傳播之父”的名號。

玻爾茲曼機(jī)（Boltzmann Machines）：

1983年，Hinton和同伴一起發(fā)明了玻爾茲曼機(jī)，那是最早能夠?qū)W習(xí)神經(jīng)元內(nèi)部表征的網(wǎng)絡(luò)之一：那些表征既不來自輸入，也不來自輸出。

改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)：

2012年，Hinton和學(xué)生們一起，利用線性整流神經(jīng)元（Rectified Linear Neurons）和dropout 正則化改進(jìn)了卷積神經(jīng)網(wǎng)絡(luò)。

在ImageNet比賽上，他們幾乎把物體識別的錯(cuò)誤率降到了從前的一半，讓計(jì)算機(jī)視覺領(lǐng)域煥然一新。

在獲得圖靈獎之前，Hinton就已經(jīng)獲得了大量的榮譽(yù)，手握加拿大最高榮譽(yù)勛章（Companion of the Order of Canada），是頂級認(rèn)知科學(xué)獎魯梅哈特獎的首位獲獎?wù)?，也獲得了人工智能國際聯(lián)合會（IJCAI）杰出學(xué)者獎終生成就獎等等。

此外，他也是英國皇家學(xué)會成員、美國工程院外籍院士。

一個(gè)有趣的軼事是，Hinton的高祖父是大名鼎鼎的喬治·布爾——布爾邏輯的創(chuàng)立者，因“布爾檢索“而聞名于世。

而即將出場的人，曾經(jīng)在Hinton的實(shí)驗(yàn)室里做過博士后。

Yann LeCun

Yann LeCun，1960年生，58歲，現(xiàn)在是Facebook首席AI科學(xué)家。卷積神經(jīng)網(wǎng)絡(luò) (CNN) 之父，是他最為人熟知的名號。

ACM列舉的成就，也是從這里開始。

卷積神經(jīng)網(wǎng)絡(luò) (CNN) ：

1989年，在AT&T貝爾實(shí)驗(yàn)室工作的LeCun，以反向傳播為基礎(chǔ)，發(fā)表了一項(xiàng)研究，叫做“將反向傳播用到手寫郵編的識別上”。CNN的第一次實(shí)現(xiàn)，就是在這里誕生。

如今，CNN已經(jīng)成為深度學(xué)習(xí)的基礎(chǔ)技術(shù)了，不止在計(jì)算機(jī)視覺領(lǐng)域，在語音合成、語音識別這些應(yīng)用中，也是行業(yè)標(biāo)準(zhǔn)操作。

反向傳播雛形：

1985年，Hinton還沒有成為反向傳播之父的時(shí)候，LeCun在巴黎六大讀博期間，發(fā)表過反向傳播的一個(gè)早期版本，根據(jù)變分原理給出了一個(gè)簡單的推導(dǎo)過程。

他用兩種加速學(xué)習(xí)的方法，讓反向傳播變得更快了。

拓展了神經(jīng)網(wǎng)絡(luò)的視野：

LeCun不止把神經(jīng)網(wǎng)絡(luò)用在圖像識別上，還解鎖了許多其他任務(wù)。他提出的一些概念，如今已經(jīng)成了AI領(lǐng)域的基礎(chǔ)。

比如，在圖像識別上，他研究了神經(jīng)網(wǎng)絡(luò)怎樣學(xué)習(xí)分層特征表示 (Hierarchical Feature Representation) ，這也成為了如今許多識別任務(wù)中常用的概念。

另外，他和同伴Léon Bottou一起提出，學(xué)習(xí)系統(tǒng)可以由復(fù)雜的神經(jīng)網(wǎng)絡(luò)構(gòu)成。在這樣的系統(tǒng)里，反向傳播是靠自動微分來實(shí)現(xiàn)。他們還提出，深度學(xué)習(xí)架構(gòu)可以對結(jié)構(gòu)化數(shù)據(jù) (比如圖形) ，進(jìn)行處理。

LeCun博士畢業(yè)后，只在Hinton的實(shí)驗(yàn)室做了一年博士后，就進(jìn)入了工業(yè)界。

不過，他在2003年成為了紐約大學(xué)的教授，還在2012年創(chuàng)辦了紐大數(shù)據(jù)科學(xué)中心。即便加入Facebook之后，也繼續(xù)在紐大兼職。

而下一位巨頭，也和LeCun一樣，橫跨學(xué)界和產(chǎn)業(yè)界。并且，他也在赫赫有名的貝爾實(shí)驗(yàn)室工作過。

Yoshua Bengio

Yoshua Bengio，1964年生，55歲，現(xiàn)在是蒙特利爾大學(xué)計(jì)算機(jī)科學(xué)與運(yùn)籌學(xué)系教授。

Bengio創(chuàng)建了蒙特利爾學(xué)習(xí)算法研究所（MILA），擔(dān)任研究所的科學(xué)主任，主持加拿大高等研究院（CIFAR）機(jī)器與大腦學(xué)習(xí)項(xiàng)目的研究。同時(shí)，Bengio也擔(dān)任著數(shù)據(jù)評估研究所（IVADO）的科學(xué)聯(lián)合主任。

同樣，ACM也總結(jié)了Bengio的三個(gè)主要貢獻(xiàn)。

序列的概率模型：

上世紀(jì)90年代，Bengio提出了序列的概率模型。他把神經(jīng)網(wǎng)絡(luò)和概率模型（例如隱馬爾可夫模型）相結(jié)合，用新技術(shù)識別手寫的支票。外界認(rèn)為，這是20世紀(jì)90年代神經(jīng)網(wǎng)絡(luò)的巔峰之作，當(dāng)下語音識別技術(shù)就是在它的基礎(chǔ)上擴(kuò)展的。

高維詞匯嵌入和注意機(jī)制：

Bengio參與發(fā)表了一篇里程碑式的論文，A Neural Probabilistic Language Model（神經(jīng)概率語言模型），把高維詞嵌入 (High-Dimentional Word Embeddings) 作為詞義的表征。這對NLP研究（如翻譯、問答和視覺問答等任務(wù)）產(chǎn)生了深遠(yuǎn)的影響。

生成對抗網(wǎng)絡(luò)（GAN）：

2014年，Bengio與Ian Goodfellow一同發(fā)表的生成對抗網(wǎng)絡(luò) (GAN) ，引發(fā)了計(jì)算機(jī)視覺和圖形學(xué)的革命。

據(jù)統(tǒng)計(jì)，Yoshua Bengio發(fā)表的300多篇學(xué)術(shù)文章的累計(jì)引用次數(shù)已經(jīng)超過137000次。

作為教授，Bengio曾經(jīng)和Ian Goodfellow、Aaron Courville等業(yè)界大神一起寫出了Deep Learning，成為人手一本的“AI圣經(jīng)”，不少人將這本書親切稱之為“花書”。

除了學(xué)術(shù)界，Bengio也活躍在產(chǎn)業(yè)界。

曾經(jīng)，Bengio聯(lián)合Jean-Fran?ois Gagné創(chuàng)立了Element AI，為那些想給自家業(yè)務(wù)尋找機(jī)器學(xué)習(xí)解決方案的公司，找到AI領(lǐng)域的專家。

除此之外，Bengio也有許多榮譽(yù)在身。他不僅成為了加拿大皇家學(xué)院（RSC）及加拿大高等研究院（CIFAR）的院士，還在2017年獲得了代表加拿大公民最高榮譽(yù)的“加拿大總督功勛獎”。

機(jī)器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)為何能獨(dú)領(lǐng)風(fēng)騷？在傳統(tǒng)計(jì)算中，計(jì)算機(jī)程序使用明確、逐步的指令來指導(dǎo)計(jì)算機(jī)，但在深度學(xué)習(xí)中，計(jì)算機(jī)并沒有明確被告知該如何解決特定任務(wù)，如對象分類。相反地，它使用學(xué)習(xí)算法來提取數(shù)據(jù)中的模式（pattern），涉及數(shù)據(jù)的輸入，例如圖像的像素、標(biāo)注、到輸出。研究人員面臨的挑戰(zhàn)是開發(fā)有效的學(xué)習(xí)算法，能夠修改人工神經(jīng)網(wǎng)絡(luò)中連接的權(quán)重，所以可抓取數(shù)據(jù)中的相關(guān)模式。

Geoffrey Hinton 從 80 年代早期就致力在 AI 領(lǐng)域倡導(dǎo)機(jī)器學(xué)習(xí)方法，研究人類大腦如何發(fā)揮作用，應(yīng)將其應(yīng)用在機(jī)器學(xué)習(xí)系統(tǒng)的開發(fā)。受到大腦的啟發(fā)，他和其他人提出“人工神經(jīng)網(wǎng)絡(luò)”作為機(jī)器學(xué)習(xí)研究的基石。

在計(jì)算機(jī)科學(xué)中，“神經(jīng)網(wǎng)絡(luò)”是指由在計(jì)算機(jī)模擬“神經(jīng)元”的一層一層組成的系統(tǒng)。這些“神經(jīng)元”與人類大腦中的神經(jīng)元相似，通過加權(quán)連接相互影響，并通過改變連接上的權(quán)重，可以改變神經(jīng)網(wǎng)絡(luò)執(zhí)行的計(jì)算，三位大牛提出使用多層構(gòu)建深層網(wǎng)絡(luò)的重要性，因此也稱為“深度學(xué)習(xí)”。

三位大牛 30 年努力所奠定的概念基礎(chǔ)和工程進(jìn)步，受惠于 GPU、計(jì)算機(jī)的普及以及對大量數(shù)據(jù)集而取得顯著進(jìn)展，Yann LeCun 在 Geoffrey Hinton 的指導(dǎo)下進(jìn)行博士后工作，Yann LeCun 和 Yoshua Bengio 在 90 年代初都任職于貝爾實(shí)驗(yàn)室，盡管沒有一起工作，他們的研究也激起了相互影響。

他們?nèi)顺掷m(xù)探索機(jī)器學(xué)習(xí)與神經(jīng)科學(xué)和認(rèn)知科學(xué)的交叉，特別是他們共同參與 CIFAR 的機(jī)器和大腦學(xué)習(xí)計(jì)劃。

這一次 ACM 選擇深度學(xué)習(xí)理論，在深度學(xué)習(xí)領(lǐng)域又選擇了這三位先驅(qū)，其實(shí)有更深層的意義。因?yàn)?，在深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)領(lǐng)域具有突出貢獻(xiàn)的絕不止這三位學(xué)者，而他們并稱為三巨頭的原因，也并不只是因?yàn)樗麄兺度胙芯康臅r(shí)間長達(dá)40年，更是因?yàn)樗麄兪冀K保有對神經(jīng)網(wǎng)絡(luò)的興趣，在他們的名字廣為世人所知的幾十年時(shí)間里，他們甘于用掉人生大部份的時(shí)間坐冷板凳做研究，才推動了神經(jīng)網(wǎng)絡(luò)走向復(fù)興。