MIT CSAIL近期發(fā)表文章《彩票假設(shè):尋找稀疏可訓(xùn)練的神經(jīng)網(wǎng)絡(luò)》認(rèn)為神經(jīng)網(wǎng)絡(luò)就像中彩票并不是每一張都有用,但應(yīng)設(shè)法找到最能中獎(jiǎng)的那個(gè),因此可通過(guò)消除神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)件不必要的連接(也稱修剪)適應(yīng)低功率設(shè)備,在一系列條件下不斷重復(fù)該過(guò)程,神經(jīng)網(wǎng)絡(luò)可縮小10%到20%,但并不影響準(zhǔn)確率,甚至比原始網(wǎng)絡(luò)跟快。
根據(jù)齊魯晚報(bào)報(bào)道,最近威海一彩民獲得了1219萬(wàn)大獎(jiǎng),可以說(shuō)是非常幸運(yùn)了,看的一眾神經(jīng)網(wǎng)絡(luò)“煉丹師”們羨慕不已。
訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)的感覺就像買彩票
HackerNews網(wǎng)友opwieurposiu就吐槽,做DNN其實(shí)根本和買彩票沒什么區(qū)別:先是收集訓(xùn)練數(shù)據(jù),然后寫一個(gè)python腳本,支付大約1美元的GPU時(shí)間,跑一下。所不同的是,你盯著的不是輪盤的轉(zhuǎn)針,而是損失函數(shù)圖。
95%的時(shí)間都是廢的,但是每隔一段時(shí)間你就會(huì)得到很大的回報(bào)。中獎(jiǎng)的時(shí)候,你可能覺得自己真是個(gè)天才!但復(fù)盤的時(shí)候又發(fā)現(xiàn),你根本不知道為什么A方式有效而B就不行。這種感覺,跟壓彩票非常相似。
1美元的神經(jīng)網(wǎng)絡(luò)很小了。為了更好地學(xué)習(xí),神經(jīng)網(wǎng)絡(luò)就必須非常大,需要海量數(shù)據(jù)集,整個(gè)訓(xùn)練過(guò)程可能要持續(xù)好多天。投入100美元、1000美元、10000美元……的時(shí)候,你可能感受到的不僅僅是經(jīng)費(fèi)在燃燒了。
可是,如果說(shuō),實(shí)際上神經(jīng)網(wǎng)絡(luò)不一定要那么大呢?
不修剪了,把沒用的部分直接砍掉!
MIT CSAIL的兩位研究人員Jonathan Frankle和Michael Carbin發(fā)表過(guò)一篇論文《彩票假設(shè):尋找稀疏的、可訓(xùn)練的神經(jīng)網(wǎng)絡(luò)》剛剛被評(píng)為ICLR最佳論文。
論文指出,神經(jīng)網(wǎng)絡(luò)剪枝技術(shù)可以在不影響精度的前提下,將訓(xùn)練網(wǎng)絡(luò)的參數(shù)數(shù)量減少90%以上,降低存儲(chǔ)需求并提高推理的計(jì)算性能。然而,當(dāng)前的經(jīng)驗(yàn)是,剪枝產(chǎn)生的稀疏架構(gòu)從一開始就很難訓(xùn),然而同時(shí)也能提高了效率。
Frankle和Carbin發(fā)現(xiàn),一個(gè)標(biāo)準(zhǔn)的修剪技巧可以自然的顯露出一個(gè)子網(wǎng)絡(luò),初始化該網(wǎng)絡(luò)就能提高訓(xùn)練效率。因此他們提出了 “彩票假設(shè)”(lottery ticket hypothesis):任何密集、隨機(jī)初始化的前饋網(wǎng)絡(luò),都包含一個(gè)子網(wǎng)絡(luò),以便在隔離訓(xùn)練時(shí)可以在最多相同數(shù)量的訓(xùn)練迭代中,匹配原始網(wǎng)絡(luò)的準(zhǔn)確性。
然而,在成功的找到這個(gè)子網(wǎng)絡(luò)之前,必須經(jīng)過(guò)多次訓(xùn)練和“修剪”整個(gè)網(wǎng)絡(luò)。這就好像你去買了一大包彩票,然后從里面找出中獎(jiǎng)的那個(gè)。神經(jīng)網(wǎng)絡(luò)的好處是,所有的彩票都在你的手中,你總能找出來(lái)中獎(jiǎng)的那個(gè)。
如果能確切的定位到原始網(wǎng)絡(luò)中哪個(gè)子網(wǎng)絡(luò)跟最終預(yù)測(cè)相關(guān),那么也就用不著多次訓(xùn)練和“修建”,直接砍掉無(wú)關(guān)的部分即可。這樣又進(jìn)一步的降低了工作量,提高了效率。這就意味著,要通過(guò)一種技巧,使得每次買彩票必中!
彩票假設(shè)也可能遷移學(xué)習(xí)產(chǎn)生影響,在這種情況下,為圖像識(shí)別等任務(wù)訓(xùn)練的網(wǎng)絡(luò)可以幫助完成不同的任務(wù)。
“打了折”的深度學(xué)習(xí)
感謝大家對(duì)神經(jīng)網(wǎng)絡(luò)的過(guò)度熱捧,使得越來(lái)越多的人感嘆于神經(jīng)網(wǎng)絡(luò)的神奇效果,但很少有人理解訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)有多難。一來(lái)成本高昂,二來(lái)耗時(shí)漫長(zhǎng)。所以研究人員必須做出許多讓步,在模型的大小、訓(xùn)練耗時(shí)和最終表現(xiàn)等多個(gè)方面進(jìn)行權(quán)衡。
包括今天兩位主角提出的“彩票假設(shè)”的驗(yàn)證過(guò)程。他們首先采用一種通用的方法,用最低的“權(quán)重”“修剪”連接來(lái)消除受過(guò)訓(xùn)練的網(wǎng)絡(luò)的不必要連接,使其適用于智能手機(jī)等低功耗設(shè)備。
“彩票假設(shè)”的關(guān)鍵創(chuàng)新,是發(fā)現(xiàn)經(jīng)過(guò)網(wǎng)絡(luò)訓(xùn)練之后,修剪連接可能根本就沒有必要。為了測(cè)試這個(gè)假設(shè),他們嘗試再次訓(xùn)練完全相同的網(wǎng)絡(luò),但沒有修剪連接。
重要的是,他們將每個(gè)連接“重置”到訓(xùn)練開始時(shí)分配的權(quán)重。這些初始權(quán)重對(duì)于幫助中獎(jiǎng)來(lái)說(shuō)至關(guān)重要,沒有它們,被修剪的網(wǎng)絡(luò)將無(wú)法學(xué)習(xí)。通過(guò)修剪越來(lái)越多的連接,最終確定了哪些是可以刪掉而不影響模型預(yù)測(cè)能力。
為了驗(yàn)證這一假設(shè),他們?cè)诟鞣N條件下在許多不同的網(wǎng)絡(luò)上重復(fù)了這個(gè)過(guò)程數(shù)萬(wàn)次。實(shí)驗(yàn)結(jié)果顯示MNIST和CIFAR10的“中獎(jiǎng)彩票”的規(guī)模,始終要小于幾個(gè)全連接架構(gòu)和卷積前饋架構(gòu)的10%-20%。這樣的話,不僅深度網(wǎng)絡(luò)在體積上打了折扣,成本、耗時(shí)都大打折扣。
下一步,該團(tuán)隊(duì)計(jì)劃探索為什么某些子網(wǎng)特別擅長(zhǎng)學(xué)習(xí),以及有效找出這些子網(wǎng)的方法。
Google已經(jīng)用Python實(shí)現(xiàn)了彩票假設(shè)算法,并在Github上開源:
https://github.com/google-research/lottery-ticket-hypothesis
-
神經(jīng)網(wǎng)絡(luò)
+關(guān)注
關(guān)注
42文章
4814瀏覽量
103486 -
深度學(xué)習(xí)
+關(guān)注
關(guān)注
73文章
5560瀏覽量
122763 -
遷移學(xué)習(xí)
+關(guān)注
關(guān)注
0文章
74瀏覽量
5725
原文標(biāo)題:ICLR最佳論文:MIT科學(xué)家提出彩票假設(shè),神經(jīng)網(wǎng)路縮小10倍并不影響結(jié)果
文章出處:【微信號(hào):AI_era,微信公眾號(hào):新智元】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
評(píng)論