Yann LeCun今天在采訪中確認(rèn)Facebook正在自研AI芯片,追求更高能效,以支持其AI應(yīng)用。Facebook也在尋找新的神經(jīng)網(wǎng)絡(luò)架構(gòu),大力投入于“自我監(jiān)督”系統(tǒng),致力于賦予機(jī)器“常識”。
人工智能研究的進(jìn)展將與硬件創(chuàng)新密切相關(guān)。
今天,在2019國際固態(tài)電路研討會(huì)(ISSCC)的主旨演講中,F(xiàn)acebook首席AI科學(xué)家Yann LeCun闡述了深度學(xué)習(xí)研究的進(jìn)展將如何影響未來的硬件架構(gòu)。他的論文題為《深度學(xué)習(xí)硬件:過去、現(xiàn)在和未來》(Deep Learning Hardware: Past, Present, and Future)。
并且,LeCun公開確認(rèn)Facebook正在自研AI芯片,這是Facebook首次發(fā)表官方評論,證實(shí)了其在芯片領(lǐng)域的雄心。
LeCun表示,對DL專用硬件的需求會(huì)不斷增加。動(dòng)態(tài)網(wǎng)絡(luò)、關(guān)聯(lián)存儲器結(jié)構(gòu)以及稀疏激活等新的體系結(jié)構(gòu)概念將影響未來需求的硬件體系結(jié)構(gòu)類型。
“這可能要求我們重新發(fā)明電路中運(yùn)算的方式,”LeCun說。今天的計(jì)算機(jī)芯片通常沒有針對深度學(xué)習(xí)進(jìn)行優(yōu)化,即使使用不太精確的計(jì)算,深度學(xué)習(xí)也可以有效。“因此,研究人員正在嘗試設(shè)計(jì)一種新的方式來更有效地表示數(shù)字。”
推進(jìn)AI領(lǐng)域的一個(gè)關(guān)鍵因素,尤其是在深度學(xué)習(xí)方面,將是確保有能夠支持它的硬件。
這是LeCun演講中的一個(gè)重要議題,他在會(huì)上討論了一份新的研究報(bào)告,概述了未來5到10年芯片廠商和研究人員需要關(guān)注的關(guān)鍵趨勢。
他說:“無論他們建造的是什么,都將影響未來十年AI的發(fā)展。”
在會(huì)議開始之前,LeCun與Business Insider就AI領(lǐng)域的發(fā)展方向、它對我們?nèi)粘I钪惺褂玫脑O(shè)備的意義、人工智能的現(xiàn)狀以及未來面臨的最大挑戰(zhàn)進(jìn)行了討論。以下是采訪的要點(diǎn)。
為了改善AI性能,機(jī)器必須在能耗方面做得更好
想象有這樣一個(gè)真空吸塵器,它不僅聰明到可以為你的起居室繪制地圖,以便不會(huì)重復(fù)清潔同一個(gè)地方,它還能在撞到障礙物之前檢測到它們。
或者想象有這樣一臺智能割草機(jī),它可以在修剪草坪時(shí)智能地避開花壇和樹枝。
LeCun說,這樣的小設(shè)備要想實(shí)現(xiàn)、并流行起來,除了Facebook、Alphabet等正在投資的技術(shù),如增強(qiáng)現(xiàn)實(shí)和自動(dòng)駕駛技術(shù),還需要有更節(jié)能的硬件。
更節(jié)能的硬件不僅對這類技術(shù)的蓬勃發(fā)展是必要的,而且對改善Facebook等公司實(shí)時(shí)識別照片和視頻內(nèi)容的方式也是必要的。LeCun說,要理解視頻中發(fā)生的事情,將活動(dòng)轉(zhuǎn)錄成文本,然后將文本翻譯成另一種語言,以便世界各地的人們能夠?qū)崟r(shí)地理解,需要“巨大”的計(jì)算能力。
Facebook 希望使用AI來幫助審核內(nèi)容
短期內(nèi)AI將繼續(xù)在智能手機(jī)中得到改進(jìn)
LeCun認(rèn)為,未來3年內(nèi),大多數(shù)智能手機(jī)將通過專用處理器將AI直接內(nèi)置到硬件中,這將使實(shí)時(shí)語音翻譯等功能在手機(jī)上更為普遍。
對于那些近年來一直密切關(guān)注智能手機(jī)行業(yè)的人來說,這可能并不意外,因?yàn)樘O果、谷歌、華為等公司已經(jīng)將AI更緊密地整合到自己的移動(dòng)設(shè)備中, LeCun 表示,這將使“各種新應(yīng)用”成為可能。
賦予機(jī)器“常識”將是未來10年AI研究的一大重點(diǎn)
雖然人類通常通過一般觀察(general observations)來了解世界,但計(jì)算機(jī)通常被訓(xùn)練來執(zhí)行特定的任務(wù)。舉例來說,如果你想設(shè)計(jì)一種能夠檢測照片中的貓的算法,你必須幫助它了解貓的樣子,方法是提供給它一個(gè)巨大的數(shù)據(jù)集,其中可能包括數(shù)千張標(biāo)記有貓的照片。
但LeCun認(rèn)為,未來十年,推動(dòng)AI前進(jìn)的圣杯在于完善一種稱為自監(jiān)督學(xué)習(xí)(self-supervised learning)的技術(shù)。換句話說,使機(jī)器能夠通過數(shù)據(jù)了解世界是如何運(yùn)轉(zhuǎn)的,而不僅僅是學(xué)習(xí)如何解決一個(gè)特定的問題——比如識別貓。
LeCun表示:“如果我們真的訓(xùn)練(算法)做到這一點(diǎn),那么機(jī)器捕捉上下文并做出更復(fù)雜決策的能力將會(huì)取得重大進(jìn)展。”他補(bǔ)充說,這樣的技術(shù)目前只對文本有效,對視頻和圖像仍然無效。
這樣的突破可能是Facebook等公司需要的,用以改進(jìn)其平臺上的內(nèi)容審核,盡管現(xiàn)在還不知道這樣的解決方案何時(shí)會(huì)出現(xiàn)。LeCun說:“這不是一蹴而就的事情。”
Facebook加入AI芯片競賽,自研ASIC
Facebook認(rèn)識到,要想在AI領(lǐng)域?qū)崿F(xiàn)下一個(gè)突破,它需要大大提高計(jì)算速度。目前,F(xiàn)acebook已經(jīng)加入與亞馬遜和谷歌的競爭,開發(fā)自己的AI芯片。
LeCun 在接受英國 《金融時(shí)報(bào)》 采訪時(shí)表示,F(xiàn)acebook 希望與多家芯片公司合作開發(fā)新的芯片設(shè)計(jì)——最近宣布了與英特爾合作開展項(xiàng)目——但他也表示,F(xiàn)acebook正在開發(fā)自己的定制 “ASIC” 芯片,以支持其AI程序。
LeCun說:“眾所周知,F(xiàn)acebook會(huì)在需要時(shí)構(gòu)建自己的硬件——例如,構(gòu)建自己的ASIC。遇到任何障礙,我們都將全力以赴。”這是Facebook首次發(fā)表官方評論,證實(shí)了其在芯片領(lǐng)域的雄心。
談到公司在芯片方面取得突破的機(jī)會(huì)時(shí),LeCun補(bǔ)充說:“底層肯定有很大的空間。”
Facebook自研芯片的決定,對英偉達(dá)也構(gòu)成了又一個(gè)長期挑戰(zhàn)。英偉達(dá)是目前用于數(shù)據(jù)中心AI的圖形處理器的主要生產(chǎn)商。由于大型數(shù)據(jù)中心客戶離開,英偉達(dá)正面臨短期困境。
現(xiàn)在,更大的需求是更專業(yè)的AI芯片,其設(shè)計(jì)旨在以閃電般的速度、更低的功耗執(zhí)行單一任務(wù),而不是過去的通用處理器。這種需求不僅吸引了谷歌、亞馬遜、蘋果等公司的投資浪潮,也吸引了幾十家初創(chuàng)企業(yè)。
對新的芯片設(shè)計(jì)和硬件架構(gòu)的關(guān)注表明,需要在基礎(chǔ)計(jì)算方面取得根本性突破,以防止今天的AI成為一個(gè)死胡同。
LeCun 表示,縱觀AI的歷史,在研究人員提出讓該領(lǐng)域得到突破的洞見之前,它往往已經(jīng)在硬件方面取得了很大的進(jìn)步。
“在相當(dāng)長的一段時(shí)間里,人們沒有想到相當(dāng)明顯的想法,”他說,這阻礙了人工智能的發(fā)展。其中就包括反向傳播,這是當(dāng)今深度學(xué)習(xí)系統(tǒng)的一項(xiàng)核心技術(shù),算法可以通過反向傳播來減少錯(cuò)誤。 LeCun 表示,這顯然是對早期研究的延伸,但直到上世紀(jì)90年代計(jì)算機(jī)硬件發(fā)展后,這一技術(shù)才得到廣泛應(yīng)用。
Facebook過去也曾設(shè)計(jì)過其他類型的硬件,例如,在將數(shù)據(jù)中心設(shè)備開源供他人使用之前,為這些設(shè)備提出一些新想法。 LeCun 表示,同樣的方法也將適用于芯片設(shè)計(jì)。他補(bǔ)充說:“我們的目標(biāo)是將其送走。”
重新設(shè)計(jì)神經(jīng)網(wǎng)絡(luò),模仿更多人類智能
Facebook還將研究重點(diǎn)放在神經(jīng)網(wǎng)絡(luò)的新設(shè)計(jì)上。神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)系統(tǒng)的核心,是圖像和語言識別等領(lǐng)域最近進(jìn)展的基礎(chǔ)。
30年前,LeCun在 AT&T 貝爾實(shí)驗(yàn)室研究AI芯片時(shí),構(gòu)建了第一個(gè)“卷積”神經(jīng)網(wǎng)絡(luò),這是目前深度學(xué)習(xí)系統(tǒng)常用的神經(jīng)網(wǎng)絡(luò)。
LeCun 表示,F(xiàn)acebook正致力于“一切可以降低功耗(并)改善延遲的事情”,以加快處理速度。但他補(bǔ)充說,實(shí)時(shí)監(jiān)控視頻帶來的巨大需求,將需要新的神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)。
Facebook也在尋找新的神經(jīng)網(wǎng)絡(luò)架構(gòu),以模仿人類智能的更多方面,并使系統(tǒng)更自然地進(jìn)行交互。
LeCun說,F(xiàn)acebook正大力投入于“自我監(jiān)督”系統(tǒng),這種系統(tǒng)能夠?qū)χ車氖澜缱龀龈鼜V泛的預(yù)測,而不僅僅是得出直接與它們所接受的數(shù)據(jù)相關(guān)的結(jié)論。這可以使它們對世界產(chǎn)生同樣廣泛的理解,從而使人類能夠應(yīng)對新的情況。
“就新用途而言,F(xiàn)acebook感興趣的一件事是開發(fā)智能數(shù)字助理——具有一定程度的常識的智能助理,”他說。“它們擁有背景知識,你可以和它們就任何話題進(jìn)行討論。”
向計(jì)算機(jī)灌輸常識的想法還處于非常早期的階段,LeCun表示,這種更深層次的智能“不會(huì)很快發(fā)生”。
他說:“能夠在不確定性下進(jìn)行預(yù)測是當(dāng)今的主要挑戰(zhàn)之一。”
Facebook正在參與一項(xiàng)更廣泛的研究努力,旨在增強(qiáng)當(dāng)今的神經(jīng)網(wǎng)絡(luò)。在ISSCC研討會(huì)上,LeCun概述了這項(xiàng)工作。
其中,包括根據(jù)通過它們的數(shù)據(jù)調(diào)整其設(shè)計(jì)的網(wǎng)絡(luò),使其在面對現(xiàn)實(shí)世界的變化時(shí)更加靈活。另一種研究方法是研究只“激活”解決特定問題所需神經(jīng)元的網(wǎng)絡(luò),這種方法與人類大腦的運(yùn)作方式類似,可以大大降低功耗。
研究工作還包括將計(jì)算機(jī)存儲添加到神經(jīng)網(wǎng)絡(luò)中,這樣當(dāng)與人“交談”時(shí),神經(jīng)網(wǎng)絡(luò)就能記住更多的信息,并形成更強(qiáng)的語境感。
神經(jīng)網(wǎng)絡(luò)的進(jìn)步可能會(huì)對驅(qū)動(dòng)它們的芯片的設(shè)計(jì)產(chǎn)生連鎖反應(yīng),這可能會(huì)為制造當(dāng)今領(lǐng)先AI芯片的公司帶來更多競爭。
LeCun 表示,谷歌的TPU——最強(qiáng)大的機(jī)器學(xué)習(xí)數(shù)據(jù)中心芯片——“仍相當(dāng)通用”。但“它們做出的假設(shè)不一定適用于未來的神經(jīng)網(wǎng)絡(luò)架構(gòu)。”
另一方面,芯片設(shè)計(jì)的靈活性也有其他缺點(diǎn)。例如,微軟計(jì)劃在其所有數(shù)據(jù)中心服務(wù)器上安裝一種不同類型的芯片,即FPGA(現(xiàn)場可編程門陣列)。這些芯片在使用方式上更加靈活,但在處理大量數(shù)據(jù)方面效率較低,這使它們與專為特定任務(wù)而優(yōu)化的芯片相比處于劣勢。
-
神經(jīng)網(wǎng)絡(luò)
+關(guān)注
關(guān)注
42文章
4774瀏覽量
100891 -
人工智能
+關(guān)注
關(guān)注
1792文章
47417瀏覽量
238932 -
AI芯片
+關(guān)注
關(guān)注
17文章
1892瀏覽量
35099
原文標(biāo)題:LeCun:賦予機(jī)器 “常識” ,重新設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)將是AI 研究重點(diǎn)
文章出處:【微信號:aicapital,微信公眾號:全球人工智能】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
評論