神經(jīng)網(wǎng)絡(luò)無(wú)需學(xué)習(xí)就能駕駛虛擬賽車(chē)。
動(dòng)物生下來(lái)就具有天生的能力和稟性。馬生下來(lái)幾小時(shí)后就會(huì)走,鴨子孵出來(lái)后很快就會(huì)游,人類(lèi)嬰兒自然而然會(huì)被人臉吸引。大腦進(jìn)化到了即使幾乎沒(méi)有經(jīng)驗(yàn)也敢于面對(duì)世界的地步,許多研究人員希望AI也有這種天生的能力。
新研究發(fā)現(xiàn),人工神經(jīng)網(wǎng)絡(luò)可以進(jìn)化到無(wú)需學(xué)習(xí)即可執(zhí)行任務(wù)的程度。該技術(shù)有望帶來(lái)這樣的AI:極其擅長(zhǎng)處理各種任務(wù),比如為照片添加標(biāo)簽或駕駛汽車(chē)。
人工神經(jīng)網(wǎng)絡(luò)對(duì)彼此之間傳輸信息的小型計(jì)算單元(“神經(jīng)元”)進(jìn)行了排列。這種網(wǎng)絡(luò)常常通過(guò)調(diào)整神經(jīng)元之間連接的“權(quán)重”或強(qiáng)度來(lái)學(xué)習(xí)諸多任務(wù),比如玩游戲或識(shí)別圖像。一種名為神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索(neural architecture search)的技術(shù)試過(guò)眾多網(wǎng)絡(luò)形狀和大小,以找到針對(duì)某特定用途提高學(xué)習(xí)能力的那種網(wǎng)絡(luò)形狀和大小。
新方法使用同樣這種搜索技術(shù)來(lái)查找權(quán)重并不重要的網(wǎng)絡(luò)。對(duì)于這種網(wǎng)絡(luò)而言,網(wǎng)絡(luò)的整體形狀決定了它的智能,可能使其特別適合某些任務(wù)。
供職于谷歌Brain的論文主要作者、計(jì)算機(jī)科學(xué)家Adam Gaier說(shuō):“如果動(dòng)物有所有這些天生的行為,一些神經(jīng)網(wǎng)絡(luò)在未經(jīng)大量訓(xùn)練的情況下就有出色的表現(xiàn),我們想知道我們能將這個(gè)想法運(yùn)用到多先進(jìn)的程度。”
整個(gè)過(guò)程始于一組很簡(jiǎn)單的網(wǎng)絡(luò),這些網(wǎng)絡(luò)將輸入(比如來(lái)自機(jī)器人傳感器的數(shù)據(jù))與行為輸出連接起來(lái)。它評(píng)估網(wǎng)絡(luò)處理特定任務(wù)時(shí)的性能,保持網(wǎng)絡(luò)處于最佳性能狀態(tài),并通過(guò)添加神經(jīng)元、添加連接或改變神經(jīng)元對(duì)輸入總和的敏感度使網(wǎng)絡(luò)發(fā)生突變。在評(píng)估階段,為網(wǎng)絡(luò)的所有權(quán)重賦予一個(gè)共享的隨機(jī)數(shù)。(這實(shí)際上針對(duì)幾個(gè)隨機(jī)數(shù)來(lái)完成,然后對(duì)結(jié)果求平均值。)
結(jié)果名為與權(quán)重?zé)o關(guān)的神經(jīng)網(wǎng)絡(luò)(WANN)。這種網(wǎng)絡(luò)因處理任務(wù)時(shí)表現(xiàn)出色和很簡(jiǎn)單而獲得加分。處理該研究論文中那些任務(wù)的典型網(wǎng)絡(luò)可能有數(shù)千個(gè)神經(jīng)元和權(quán)重,而WANN只有少量的神經(jīng)元和僅僅一個(gè)權(quán)重。
但令人驚訝的是,WANN仍表現(xiàn)不俗。研究團(tuán)隊(duì)將它們與標(biāo)準(zhǔn)網(wǎng)絡(luò)架構(gòu)進(jìn)行了比較,標(biāo)準(zhǔn)網(wǎng)絡(luò)架構(gòu)的權(quán)重經(jīng)過(guò)逐漸完善,可以熟練完成這三項(xiàng)模擬任務(wù):駕駛賽車(chē)、使兩足機(jī)器人行走以及控制雙輪推車(chē)以平衡支桿。
兩條腿旁邊是神經(jīng)網(wǎng)絡(luò)及眾多連接的示意圖。盡管沒(méi)有取得高分,但前一代網(wǎng)絡(luò)中的極簡(jiǎn)架構(gòu)仍能控制此處所示的向前行走的Bipedal Walker兩足機(jī)器人。
與經(jīng)過(guò)訓(xùn)練的網(wǎng)絡(luò)相比,WANN得到的分?jǐn)?shù)只有其分?jǐn)?shù)的六分之一到一半。研究人員賦予表現(xiàn)最佳的權(quán)重而不是隨機(jī)權(quán)重后,與經(jīng)過(guò)訓(xùn)練的網(wǎng)絡(luò)相比,WANN得到的分?jǐn)?shù)提高到三分之二到五分之四。如果在進(jìn)化后,以訓(xùn)練龐大標(biāo)準(zhǔn)網(wǎng)絡(luò)的同一方式來(lái)訓(xùn)練WANN,其性能與標(biāo)準(zhǔn)網(wǎng)絡(luò)相媲美。
在涉及識(shí)別手寫(xiě)數(shù)字的任務(wù)中,WANN的準(zhǔn)確率超過(guò)90%(而針對(duì)這項(xiàng)任務(wù)訓(xùn)練的龐大網(wǎng)絡(luò)的準(zhǔn)確率為99%)。該研究論文上個(gè)月在加拿大溫哥華的神經(jīng)信息處理系統(tǒng)(NeurIPS)大會(huì)上公布。
優(yōu)步AI實(shí)驗(yàn)室(Uber AI Labs)的計(jì)算機(jī)科學(xué)家Rosanne Liu沒(méi)有參與這項(xiàng)研究,他說(shuō):“他們的整個(gè)系統(tǒng)切實(shí)可行,這非常了不起。”其他研究人員嘗試開(kāi)發(fā)不依賴(lài)權(quán)重的網(wǎng)絡(luò),但以失敗告終。Gaier稱(chēng),這個(gè)突破最初是為所有權(quán)重賦予同一數(shù)字的bug,卻不料最終簡(jiǎn)化了網(wǎng)絡(luò)搜索。
雖然WANN的性能未能超過(guò)經(jīng)過(guò)訓(xùn)練的大型網(wǎng)絡(luò),但該方法為尋找專(zhuān)門(mén)適合不同任務(wù)的網(wǎng)絡(luò)架構(gòu)開(kāi)辟了一條新途徑,正如大腦各部位以不同的方式相連以適合特定的用途。比如說(shuō),卷積神經(jīng)網(wǎng)絡(luò)的特點(diǎn)是擁有適合圖像識(shí)別的架構(gòu),可以映射大腦視覺(jué)皮層的結(jié)構(gòu)。Gaier認(rèn)為,可能還有多得多的構(gòu)建模塊,準(zhǔn)備使AI一問(wèn)世就很聰明。
-
神經(jīng)網(wǎng)絡(luò)
+關(guān)注
關(guān)注
42文章
4772瀏覽量
100853 -
圖像識(shí)別
+關(guān)注
關(guān)注
9文章
520瀏覽量
38282 -
卷積神經(jīng)網(wǎng)絡(luò)
+關(guān)注
關(guān)注
4文章
367瀏覽量
11877
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論