計(jì)算機(jī)算力的增強(qiáng)為人工智能發(fā)展鋪平了道路。
通過(guò)強(qiáng)大的云計(jì)算平臺(tái),人工智能研究人員已經(jīng)能夠在較短的時(shí)間訓(xùn)練更復(fù)雜的神經(jīng)網(wǎng)絡(luò),這使得AI能夠在計(jì)算機(jī)視覺(jué)、語(yǔ)音識(shí)別和自然語(yǔ)言處理等許多領(lǐng)域取得進(jìn)展。
與此同時(shí),很少有人提及這一趨勢(shì)對(duì)AI研究的負(fù)面意義。
目前,人工智能的進(jìn)步主要體現(xiàn)在對(duì)深度學(xué)習(xí)模型和更多層和參數(shù)的神經(jīng)網(wǎng)絡(luò)的研究。根據(jù)OpenAI的說(shuō)法,自2012年以來(lái)最大規(guī)模人工智能訓(xùn)練中使用的計(jì)算機(jī)數(shù)量一直呈指數(shù)增長(zhǎng),大概每3到4個(gè)月就翻一番,這意味著該指標(biāo)在七年內(nèi)增長(zhǎng)了30萬(wàn)倍。
這種趨勢(shì)嚴(yán)重限制了AI的研究,也產(chǎn)生了其他不好的影響。
目前來(lái)說(shuō),“大”即是好
OpenAI研究人員表示,當(dāng)前許多領(lǐng)域中,更大的算力代表著更好的表現(xiàn),并且通常也是對(duì)算法的補(bǔ)充。
我們可以在很多項(xiàng)目中看到,研究人員將取得的進(jìn)步歸功于他們投入了更多的計(jì)算機(jī)去處理問(wèn)題。
2018年6月,OpenAI推出了能夠玩Dota2專(zhuān)業(yè)水準(zhǔn)的AI,Dota2是一款復(fù)雜的即時(shí)戰(zhàn)略游戲。
該AI叫OpenAIFive,它參加了一場(chǎng)大型的電子競(jìng)技比賽,但在決賽中輸給了人類(lèi)玩家。
OpenAI研究室今年推出的改良版本Open Five回歸賽季,最終戰(zhàn)勝了人類(lèi)選手獲得冠軍。AI相關(guān)研究人員透露說(shuō),與周六在Open International 2018的失利相比,Open Five的勝利主要?dú)w功于8倍的訓(xùn)練計(jì)算量。
還有很多類(lèi)似的例子表明,通過(guò)增加計(jì)算量可以更好的計(jì)算結(jié)果,這種方法對(duì)強(qiáng)化學(xué)習(xí)來(lái)說(shuō)這確實(shí)是對(duì)的。目前,強(qiáng)化學(xué)習(xí)也是AI研究領(lǐng)域最熱門(mén)的方向之一。
訓(xùn)練大型AI模型的財(cái)務(wù)成本
財(cái)務(wù)成本直接影響了訓(xùn)練AI模型。OpenAI網(wǎng)站上的圖表顯示,該公司以1,800 petaflop/s-days的速度訓(xùn)練DeepMind的圍棋AI——AlphaGoZero。
Flop代表浮點(diǎn)運(yùn)算,petaflop/s-day (pfs-day)表示每天1020次運(yùn)算。Google的TPU v3處理器是一個(gè)專(zhuān)門(mén)用于人工智能任務(wù)的處理器,它每天可以處理0.42 1020次運(yùn)算,它每個(gè)小時(shí)花費(fèi)2.4至8美元。這意味著大概需要246,800至822,800美元訓(xùn)練AlphaGo模型,并且這個(gè)只是單純的計(jì)算操作的成本。
這一領(lǐng)域的其他顯著成就也付出了類(lèi)似的代價(jià),例如,根據(jù)DeepMind發(fā)布的數(shù)據(jù),它旗下的玩星際爭(zhēng)霸AI由18部分組成,每一部分都使用16個(gè)Google的TPU v3處理器訓(xùn)練了14天,這意味著按照目前的價(jià)格水平,這家公司花費(fèi)了77.4萬(wàn)美元訓(xùn)練玩星球爭(zhēng)霸的人工智能。
AI研究的商業(yè)化
人工智能的計(jì)算需求對(duì)進(jìn)入該領(lǐng)域的公司來(lái)說(shuō)是一大門(mén)檻。
總部位于英國(guó)的著名人工智能實(shí)驗(yàn)室DeepMind的成功主要是因?yàn)槠淠腹竟雀璧木薮蟮馁Y源投入。2014年,谷歌以6.5億美金收購(gòu)DeepMind后,為其提供了足夠的資金支持和技術(shù)幫助。根據(jù)DeepMind向英國(guó)公司注冊(cè)處提交的文件顯示,今年早些時(shí)候,DeepMind在2018年虧損5.7億美金,高于2017年的3.41億美金。DeepMind今年還欠10.4億英鎊債券,其中8.83億英鎊來(lái)自Alphabet。
另一個(gè)是“燒錢(qián)大戶”是OpenAI。它最初是一個(gè)非盈利性人工智能研究實(shí)驗(yàn)室,2016年獲得了薩姆?奧爾特曼和埃隆?馬斯克10億美元的資助。今年早些時(shí)候,OpenAI轉(zhuǎn)型為盈利性人工智能研究實(shí)驗(yàn)室,以吸收投資者的資金。該實(shí)驗(yàn)室支持其研究的資金已所剩無(wú)幾,今年微軟又宣布將在實(shí)驗(yàn)室投資10億美元。
正如當(dāng)前趨勢(shì)所示,由于AI研究(特別是強(qiáng)化學(xué)習(xí))的成本,使得這些實(shí)驗(yàn)室變得越來(lái)越依賴(lài)于有錢(qián)的公司,例如谷歌和微軟。
這種趨勢(shì)迫使人工智能研究商業(yè)化。隨著商業(yè)組織在為AI研究實(shí)驗(yàn)室提供資金方面變得越來(lái)越重要,它們甚至可以影響研究方向。目前,像谷歌和微軟這樣的公司可以承受運(yùn)行DeepMind和OpenAI等AI研究實(shí)驗(yàn)室的財(cái)務(wù)費(fèi)用,但是他們也希望在不久的將來(lái)獲得利潤(rùn)。
問(wèn)題是,OpenAI和DeepMind都在追求諸如通用人工智能(AGI)之類(lèi)的科學(xué)項(xiàng)目。這是人類(lèi)尚未完全理解的領(lǐng)域,更不用說(shuō)實(shí)現(xiàn)了。大多數(shù)科學(xué)家都認(rèn)為目前人類(lèi)距實(shí)現(xiàn)通用人工智能至少還要一個(gè)世紀(jì)的時(shí)間,這樣的時(shí)間表使得最富有公司的耐心也得到了考驗(yàn)。
對(duì)于AI研究實(shí)驗(yàn)室來(lái)說(shuō),一種可能的情況是逐漸將目標(biāo)從長(zhǎng)期的學(xué)術(shù)和科學(xué)研究轉(zhuǎn)向能短期收益的面向商業(yè)的項(xiàng)目,這將使他們的投資者高興,但總體上卻不利于AI研究。
OpenAI研究人員表示:“我們對(duì)未來(lái)AI系統(tǒng)中計(jì)算機(jī)的使用非常不確定,但是也很難斷言算力快速增長(zhǎng)的趨勢(shì)會(huì)停止,而且我們也看到了很多因素導(dǎo)致這種趨勢(shì)將繼續(xù)下去。根據(jù)這一分析,我們認(rèn)為決策者應(yīng)該考慮增加AI學(xué)術(shù)研究經(jīng)費(fèi),顯而易見(jiàn)的是某些類(lèi)型的AI研究所需的算力正在變得更高,因此費(fèi)用會(huì)越來(lái)越高。”
AI研究的碳排放
訓(xùn)練大型人工智能模型所需的計(jì)算資源消耗了大量的能源,這也造成了碳排放問(wèn)題。
根據(jù)馬薩諸塞大學(xué)阿默斯特分校的研究人員發(fā)表的一篇論文,訓(xùn)練一個(gè)帶有2.13億個(gè)參數(shù)的Transformer模型(常用于與語(yǔ)言相關(guān)的任務(wù))所造成的污染相當(dāng)于5輛汽車(chē)開(kāi)到報(bào)廢的排放總量。Google著名的BERT語(yǔ)言模型和OpenAI的GPT-2分別有3.4億和15億個(gè)參數(shù)。
鑒于目前的AI研究被“越大越好”的口號(hào)所主導(dǎo),人們對(duì)環(huán)境的擔(dān)憂只會(huì)日益加重。不幸的是,人工智能研究者很少報(bào)道或關(guān)注他們工作的這些方面。麻省理工大學(xué)的研究人員建議人工智能論文要公開(kāi)他們的模型的環(huán)境成本,并讓公眾更好地了解他們的研究對(duì)環(huán)境的影響。
人工智能領(lǐng)域的慘痛教訓(xùn)
對(duì)更大更復(fù)雜的神經(jīng)網(wǎng)絡(luò)的最后一個(gè)擔(dān)憂,是它可能對(duì)AI研究的方向產(chǎn)生負(fù)面影響。目前,AI中一些障礙主要是通過(guò)使用更多數(shù)據(jù)并進(jìn)行訓(xùn)練來(lái)解決。與此同時(shí),就人類(lèi)大腦和AI處理一些相同的最簡(jiǎn)單的任務(wù)來(lái)說(shuō),大腦所消耗的能量相比AI這小得多。
過(guò)于依賴(lài)不斷增加的算力,可能會(huì)使我們無(wú)法找到更有效的新的人工智能解決方案。
將神經(jīng)網(wǎng)絡(luò)和符號(hào)派人工智能相結(jié)合的混合人工智能模型的開(kāi)發(fā)是這一領(lǐng)域的一項(xiàng)有趣的領(lǐng)域。符號(hào)人工智能是經(jīng)典的、基于規(guī)則的人工智能,與神經(jīng)網(wǎng)絡(luò)不同,符號(hào)派人工智能不是通過(guò)增加計(jì)算資源和數(shù)據(jù)來(lái)擴(kuò)展的。它也很難處理現(xiàn)實(shí)世界中混亂的、非結(jié)構(gòu)化的數(shù)據(jù),但它在知識(shí)表示和推理方面非常出色,而這兩個(gè)優(yōu)勢(shì)是神經(jīng)網(wǎng)絡(luò)嚴(yán)重缺乏的。探索混合人工智能的想法可能會(huì)為發(fā)明資源效率更高的人工智能開(kāi)辟新的途徑。
在此,我們不加贅述。感興趣的讀者可以閱讀加里馬庫(kù)斯和歐內(nèi)斯特戴維斯的新書(shū)《重啟人工智能》(Rebooting AI),以及計(jì)算機(jī)科學(xué)家朱迪亞·珀?duì)栕珜?xiě)的《為什么》(The book of Why)。
“越大越好”的思想已經(jīng)開(kāi)始將AI研究帶向深淵。科學(xué)界不應(yīng)該等到下一個(gè)人工智能寒冬才開(kāi)始認(rèn)真思考這些問(wèn)題。
責(zé)任編輯:ct
評(píng)論
查看更多