深度學(xué)習(xí)教父、圖靈獎(jiǎng)得主Geoffrey Hinton今天在谷歌I/O大會的“爐邊聊天”上發(fā)表演講，討論了深度神經(jīng)網(wǎng)絡(luò)、AI研究從大腦得到的啟發(fā)，以及真正理解大腦將如何改變許多領(lǐng)域。

最新一屆圖靈獎(jiǎng)得主、多倫多大學(xué)教授兼谷歌大腦高級研究員 Geoffrey Hinton 今天在谷歌 I/O 開發(fā)者大會的爐邊聊天上發(fā)表了演講。

Hinton 討論了神經(jīng)網(wǎng)絡(luò)的起源 —— 模擬生物神經(jīng)元的數(shù)學(xué)函數(shù)層，以及 AI 有朝一日能夠像人類一樣進(jìn)行推理的可行性和意義。

Hinton 被稱為 “人工智能教父”。過去 30 年里，Hinton 一直致力于解決 AI 面臨的一些最大的挑戰(zhàn)。除了在機(jī)器學(xué)習(xí)方面的開創(chuàng)性工作，Hinton 還撰寫 (或與他人合作撰寫) 了 200 多篇 AI 論文，包括 1986 年發(fā)表的一篇開創(chuàng)性的機(jī)器學(xué)習(xí)技術(shù)論文 —— 反向傳播。

Hinton 推廣了深度神經(jīng)網(wǎng)絡(luò)這一概念，即以反向傳播為基礎(chǔ)的 AI 模型，其中包含相互連接的層，傳輸 “信號” 并調(diào)整連接的突觸強(qiáng)度 (權(quán)重)。通過這種方式，神經(jīng)網(wǎng)絡(luò)可以從輸入數(shù)據(jù)中提取特征，并學(xué)會做出預(yù)測。

你只需要注意力機(jī)制！深度神經(jīng)網(wǎng)絡(luò)優(yōu)化始于Transformers

深度神經(jīng)網(wǎng)絡(luò)得到大幅優(yōu)化是在兩年前，谷歌的研究人員發(fā)表一篇名為 “Attention Is all You Need” 的論文，提出名為 Transformers 的神經(jīng)網(wǎng)絡(luò)架構(gòu)。

Transformers 拋棄了傳統(tǒng)的 RNN/CNN 結(jié)構(gòu)，從自然語言本身的特性出發(fā)，實(shí)現(xiàn)了完全基于注意力機(jī)制的 Transformer 機(jī)器翻譯網(wǎng)絡(luò)架構(gòu)。

得益于動態(tài)計(jì)算權(quán)重的注意力機(jī)制，Transformers 在語言翻譯任務(wù)中勝過了此前最先進(jìn)的模型，同時(shí)大幅減少了訓(xùn)練所需的計(jì)算量。

Hinton 承認(rèn)，創(chuàng)新的速度甚至讓他自己都感到驚訝。他說：“2012 年時(shí)，我沒有想到僅僅 5 年之后，我們就能夠使用相同的技術(shù)在多種語言之間進(jìn)行翻譯。”

盡管如此，Hinton 認(rèn)為目前的 AI 和機(jī)器學(xué)習(xí)方法仍然存在局限性。他指出，大多數(shù)計(jì)算機(jī)視覺模型缺少反饋機(jī)制 —— 也就是說，它們不會嘗試從更高層次的表示中重建數(shù)據(jù)。相反，它們試圖通過改變權(quán)重來區(qū)別性地學(xué)習(xí)特性。

Hinton 說:“它們并沒有在每一層的特征檢測器上檢查是否能夠重建下面的數(shù)據(jù)。”

AI系統(tǒng)主要是無監(jiān)督的，Hinton團(tuán)隊(duì)轉(zhuǎn)向人類大腦啟發(fā)

Hinton 和同事們最近開始轉(zhuǎn)向人類視覺皮層尋找啟發(fā)。Hinton 說，人類的視覺采用一種重建的方法來學(xué)習(xí)，事實(shí)證明，計(jì)算機(jī)視覺系統(tǒng)中的重建技術(shù)增強(qiáng)了它們抵抗對抗性攻擊的能力。

“腦科學(xué)家們都同意這樣的觀點(diǎn)，即如果你的大腦皮層有兩個(gè)區(qū)域處于感知通路 (perceptual pathway) 中，并且一個(gè)區(qū)域與另一個(gè)區(qū)域之間存在連接，那么總會有一個(gè)反向的通路。”Hinton 說。

需要說明的是，Hinton 認(rèn)為神經(jīng)科學(xué)家可以從 AI 研究人員那里學(xué)到很多東西。他認(rèn)為未來的 AI 系統(tǒng)將主要是無監(jiān)督的。無監(jiān)督學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)分支，可以從未標(biāo)記、未分類的測試數(shù)據(jù)中提取知識 —— 在學(xué)習(xí)共性和對共性是否存在做出反應(yīng)的能力方面，無監(jiān)督學(xué)習(xí)的能力幾乎達(dá)到人類水平。

Hinton 說：“如果你采用一個(gè)擁有數(shù)十億參數(shù)的系統(tǒng)，對某個(gè)目標(biāo)函數(shù)執(zhí)行隨機(jī)梯度下降，它的效果會比你想象的好得多…… 規(guī)模越大，效果越好。”

“這使得一種說法變得更加合理，即大腦計(jì)算某些目標(biāo)函數(shù)的梯度，并根據(jù)梯度更新突觸的強(qiáng)度。我們只需要弄清楚它是如何得到梯度的，以及目標(biāo)函數(shù)是什么。”

這甚至可能解開夢的奧秘。“為什么我們根本不記得我們做過的夢呢？”Hinton 反問道。

他認(rèn)為這可能與 “忘卻”(unlearning) 有關(guān)，他在與人合著的一篇關(guān)于玻爾茲曼機(jī)的論文中解釋了這一理論。玻爾茲曼機(jī)是由對稱連接的、類似神經(jīng)元的單元組成的網(wǎng)絡(luò)，可以隨機(jī)決定是 “on” 還是 “off”。Hinton 說，“它們發(fā)現(xiàn)…… 觀察到的數(shù)據(jù)不那么令人驚訝”。

Hinton 說:“夢的意義可能在于，你把整個(gè)學(xué)習(xí)過程顛倒過來了。”

未來需要真正理解大腦的運(yùn)作方式

Hinton 相信，這些知識可以改變許多領(lǐng)域，比如教育。例如，他預(yù)計(jì)教學(xué)課程將考慮人類生物化學(xué)，因此會更加個(gè)性化，更具針對性。

他說：“人們可能會認(rèn)為，如果我們真正理解了大腦，我們應(yīng)該能夠改善教育等方面的狀況，我認(rèn)為這是會實(shí)現(xiàn)的。”

“如果我們最終能夠了解大腦中正在發(fā)生什么，大腦是如何學(xué)習(xí)的，就能適應(yīng)環(huán)境，從而更好地學(xué)習(xí)。”

但他也警告說，這一切都需要時(shí)間。就近期而言，Hinton 設(shè)想了智能助理的未來 —— 比如 Google Assistant 或亞馬遜的 Alexa—— 它們可以與用戶互動，并在日常生活中為用戶提供引導(dǎo)。

Hinton 總結(jié)說：“再過幾年，我不確定我們會學(xué)到多少東西。但如果你仔細(xì)觀察，你會發(fā)現(xiàn)智能助理現(xiàn)在已經(jīng)相當(dāng)聰明了。一旦 AI 助理能夠真正理解對話，它們就能和孩子們真正地交談，并提供教育。”