色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
电子发烧友
开通电子发烧友VIP会员 尊享10大特权
海量资料免费下载
精品直播免费看
优质内容免费畅学
课程9折专享价
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)的感覺就像買彩票,“打了折”的深度學(xué)習(xí)

DPVg_AI_era ? 來(lái)源:lq ? 2019-05-10 09:09 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

MIT CSAIL近期發(fā)表文章《彩票假設(shè):尋找稀疏可訓(xùn)練的神經(jīng)網(wǎng)絡(luò)》認(rèn)為神經(jīng)網(wǎng)絡(luò)就像中彩票并不是每一張都有用,但應(yīng)設(shè)法找到最能中獎(jiǎng)的那個(gè),因此可通過(guò)消除神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)件不必要的連接(也稱修剪)適應(yīng)低功率設(shè)備,在一系列條件下不斷重復(fù)該過(guò)程,神經(jīng)網(wǎng)絡(luò)可縮小10%到20%,但并不影響準(zhǔn)確率,甚至比原始網(wǎng)絡(luò)跟快。

根據(jù)齊魯晚報(bào)報(bào)道,最近威海一彩民獲得了1219萬(wàn)大獎(jiǎng),可以說(shuō)是非常幸運(yùn)了,看的一眾神經(jīng)網(wǎng)絡(luò)“煉丹師”們羨慕不已。

訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)的感覺就像買彩票

HackerNews網(wǎng)友opwieurposiu就吐槽,做DNN其實(shí)根本和買彩票沒什么區(qū)別:先是收集訓(xùn)練數(shù)據(jù),然后寫一個(gè)python腳本,支付大約1美元的GPU時(shí)間,跑一下。所不同的是,你盯著的不是輪盤的轉(zhuǎn)針,而是損失函數(shù)圖。

95%的時(shí)間都是廢的,但是每隔一段時(shí)間你就會(huì)得到很大的回報(bào)。中獎(jiǎng)的時(shí)候,你可能覺得自己真是個(gè)天才!但復(fù)盤的時(shí)候又發(fā)現(xiàn),你根本不知道為什么A方式有效而B就不行。這種感覺,跟壓彩票非常相似。

1美元的神經(jīng)網(wǎng)絡(luò)很小了。為了更好地學(xué)習(xí),神經(jīng)網(wǎng)絡(luò)就必須非常大,需要海量數(shù)據(jù)集,整個(gè)訓(xùn)練過(guò)程可能要持續(xù)好多天。投入100美元、1000美元、10000美元……的時(shí)候,你可能感受到的不僅僅是經(jīng)費(fèi)在燃燒了。

可是,如果說(shuō),實(shí)際上神經(jīng)網(wǎng)絡(luò)不一定要那么大呢?

不修剪了,把沒用的部分直接砍掉!

MIT CSAIL的兩位研究人員Jonathan Frankle和Michael Carbin發(fā)表過(guò)一篇論文《彩票假設(shè):尋找稀疏的、可訓(xùn)練的神經(jīng)網(wǎng)絡(luò)》剛剛被評(píng)為ICLR最佳論文。

論文指出,神經(jīng)網(wǎng)絡(luò)剪枝技術(shù)可以在不影響精度的前提下,將訓(xùn)練網(wǎng)絡(luò)的參數(shù)數(shù)量減少90%以上,降低存儲(chǔ)需求并提高推理的計(jì)算性能。然而,當(dāng)前的經(jīng)驗(yàn)是,剪枝產(chǎn)生的稀疏架構(gòu)從一開始就很難訓(xùn),然而同時(shí)也能提高了效率。

Frankle和Carbin發(fā)現(xiàn),一個(gè)標(biāo)準(zhǔn)的修剪技巧可以自然的顯露出一個(gè)子網(wǎng)絡(luò),初始化該網(wǎng)絡(luò)就能提高訓(xùn)練效率。因此他們提出了 “彩票假設(shè)”(lottery ticket hypothesis):任何密集、隨機(jī)初始化的前饋網(wǎng)絡(luò),都包含一個(gè)子網(wǎng)絡(luò),以便在隔離訓(xùn)練時(shí)可以在最多相同數(shù)量的訓(xùn)練迭代中,匹配原始網(wǎng)絡(luò)的準(zhǔn)確性。

然而,在成功的找到這個(gè)子網(wǎng)絡(luò)之前,必須經(jīng)過(guò)多次訓(xùn)練和“修剪”整個(gè)網(wǎng)絡(luò)。這就好像你去買了一大包彩票,然后從里面找出中獎(jiǎng)的那個(gè)。神經(jīng)網(wǎng)絡(luò)的好處是,所有的彩票都在你的手中,你總能找出來(lái)中獎(jiǎng)的那個(gè)。

如果能確切的定位到原始網(wǎng)絡(luò)中哪個(gè)子網(wǎng)絡(luò)跟最終預(yù)測(cè)相關(guān),那么也就用不著多次訓(xùn)練和“修建”,直接砍掉無(wú)關(guān)的部分即可。這樣又進(jìn)一步的降低了工作量,提高了效率。這就意味著,要通過(guò)一種技巧,使得每次買彩票必中!

彩票假設(shè)也可能遷移學(xué)習(xí)產(chǎn)生影響,在這種情況下,為圖像識(shí)別等任務(wù)訓(xùn)練的網(wǎng)絡(luò)可以幫助完成不同的任務(wù)。

“打了折”的深度學(xué)習(xí)

感謝大家對(duì)神經(jīng)網(wǎng)絡(luò)的過(guò)度熱捧,使得越來(lái)越多的人感嘆于神經(jīng)網(wǎng)絡(luò)的神奇效果,但很少有人理解訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)有多難。一來(lái)成本高昂,二來(lái)耗時(shí)漫長(zhǎng)。所以研究人員必須做出許多讓步,在模型的大小、訓(xùn)練耗時(shí)和最終表現(xiàn)等多個(gè)方面進(jìn)行權(quán)衡。

包括今天兩位主角提出的“彩票假設(shè)”的驗(yàn)證過(guò)程。他們首先采用一種通用的方法,用最低的“權(quán)重”“修剪”連接來(lái)消除受過(guò)訓(xùn)練的網(wǎng)絡(luò)的不必要連接,使其適用于智能手機(jī)等低功耗設(shè)備。

“彩票假設(shè)”的關(guān)鍵創(chuàng)新,是發(fā)現(xiàn)經(jīng)過(guò)網(wǎng)絡(luò)訓(xùn)練之后,修剪連接可能根本就沒有必要。為了測(cè)試這個(gè)假設(shè),他們嘗試再次訓(xùn)練完全相同的網(wǎng)絡(luò),但沒有修剪連接。

重要的是,他們將每個(gè)連接“重置”到訓(xùn)練開始時(shí)分配的權(quán)重。這些初始權(quán)重對(duì)于幫助中獎(jiǎng)來(lái)說(shuō)至關(guān)重要,沒有它們,被修剪的網(wǎng)絡(luò)將無(wú)法學(xué)習(xí)。通過(guò)修剪越來(lái)越多的連接,最終確定了哪些是可以刪掉而不影響模型預(yù)測(cè)能力。

為了驗(yàn)證這一假設(shè),他們?cè)诟鞣N條件下在許多不同的網(wǎng)絡(luò)上重復(fù)了這個(gè)過(guò)程數(shù)萬(wàn)次。實(shí)驗(yàn)結(jié)果顯示MNIST和CIFAR10的“中獎(jiǎng)彩票”的規(guī)模,始終要小于幾個(gè)全連接架構(gòu)和卷積前饋架構(gòu)的10%-20%。這樣的話,不僅深度網(wǎng)絡(luò)在體積上打了折扣,成本、耗時(shí)都大打折扣。

下一步,該團(tuán)隊(duì)計(jì)劃探索為什么某些子網(wǎng)特別擅長(zhǎng)學(xué)習(xí),以及有效找出這些子網(wǎng)的方法。

Google已經(jīng)用Python實(shí)現(xiàn)了彩票假設(shè)算法,并在Github上開源:

https://github.com/google-research/lottery-ticket-hypothesis

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴

原文標(biāo)題:ICLR最佳論文:MIT科學(xué)家提出彩票假設(shè),神經(jīng)網(wǎng)路縮小10倍并不影響結(jié)果

文章出處:【微信號(hào):AI_era,微信公眾號(hào):新智元】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 0人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    如何優(yōu)化BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)

    優(yōu)化BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)率是提高模型訓(xùn)練效率和性能的關(guān)鍵步驟。以下是一些優(yōu)化BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)率的方法: 一、理解
    的頭像 發(fā)表于 02-12 15:51 ?914次閱讀

    BP神經(jīng)網(wǎng)絡(luò)的優(yōu)缺點(diǎn)分析

    學(xué)習(xí)能力 : BP神經(jīng)網(wǎng)絡(luò)能夠通過(guò)訓(xùn)練數(shù)據(jù)自動(dòng)調(diào)整網(wǎng)絡(luò)參數(shù),實(shí)現(xiàn)對(duì)輸入數(shù)據(jù)的分類、回歸等任務(wù),無(wú)需人工進(jìn)行復(fù)雜的特征工程。 泛化能力強(qiáng) : BP
    的頭像 發(fā)表于 02-12 15:36 ?905次閱讀

    BP神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)的關(guān)系

    ),是一種多層前饋神經(jīng)網(wǎng)絡(luò),它通過(guò)反向傳播算法進(jìn)行訓(xùn)練。BP神經(jīng)網(wǎng)絡(luò)由輸入層、一個(gè)或多個(gè)隱藏層和輸出層組成,通過(guò)逐層遞減的方式調(diào)整網(wǎng)絡(luò)權(quán)重,目的是最小化
    的頭像 發(fā)表于 02-12 15:15 ?846次閱讀

    深度學(xué)習(xí)入門:簡(jiǎn)單神經(jīng)網(wǎng)絡(luò)的構(gòu)建與實(shí)現(xiàn)

    深度學(xué)習(xí)中,神經(jīng)網(wǎng)絡(luò)是核心模型。今天我們用 Python 和 NumPy 構(gòu)建一個(gè)簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)。 神經(jīng)網(wǎng)絡(luò)由多個(gè)
    的頭像 發(fā)表于 01-23 13:52 ?518次閱讀

    卷積神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)工具與框架

    : TensorFlow是由Google Brain團(tuán)隊(duì)開發(fā)的開源機(jī)器學(xué)習(xí)框架,它支持多種深度學(xué)習(xí)模型的構(gòu)建和訓(xùn)練,包括卷積神經(jīng)網(wǎng)絡(luò)。Ten
    的頭像 發(fā)表于 11-15 15:20 ?657次閱讀

    卷積神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的比較

    深度學(xué)習(xí)領(lǐng)域,神經(jīng)網(wǎng)絡(luò)模型被廣泛應(yīng)用于各種任務(wù),如圖像識(shí)別、自然語(yǔ)言處理和游戲智能等。其中,卷積神經(jīng)網(wǎng)絡(luò)(CNNs)和傳統(tǒng)神經(jīng)網(wǎng)絡(luò)是兩種常
    的頭像 發(fā)表于 11-15 14:53 ?1848次閱讀

    深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)模型

    深度學(xué)習(xí)近年來(lái)在多個(gè)領(lǐng)域取得了顯著的進(jìn)展,尤其是在圖像識(shí)別、語(yǔ)音識(shí)別和自然語(yǔ)言處理等方面。卷積神經(jīng)網(wǎng)絡(luò)作為深度學(xué)習(xí)的一個(gè)分支,因其在圖像處理
    的頭像 發(fā)表于 11-15 14:52 ?835次閱讀

    Pytorch深度學(xué)習(xí)訓(xùn)練的方法

    掌握這 17 種方法,用最省力的方式,加速你的 Pytorch 深度學(xué)習(xí)訓(xùn)練
    的頭像 發(fā)表于 10-28 14:05 ?646次閱讀
    Pytorch<b class='flag-5'>深度</b><b class='flag-5'>學(xué)習(xí)</b><b class='flag-5'>訓(xùn)練</b>的方法

    AI大模型與深度學(xué)習(xí)的關(guān)系

    AI大模型與深度學(xué)習(xí)之間存在著密不可分的關(guān)系,它們互為促進(jìn),相輔相成。以下是對(duì)兩者關(guān)系的介紹: 一、深度學(xué)習(xí)是AI大模型的基礎(chǔ) 技術(shù)支撐 :深度
    的頭像 發(fā)表于 10-23 15:25 ?2865次閱讀

    【飛凌嵌入式OK3576-C開發(fā)板體驗(yàn)】RKNN神經(jīng)網(wǎng)絡(luò)算法開發(fā)環(huán)境搭建

    download_model.sh 腳本,該腳本 將下載一個(gè)可用的 YOLOv5 ONNX 模型,并存放在當(dāng)前 model 目錄下,參考命令如下: 安裝COCO數(shù)據(jù)集,在深度神經(jīng)網(wǎng)絡(luò)算法中,模型的訓(xùn)練離不開大量的數(shù)據(jù)集,數(shù)據(jù)
    發(fā)表于 10-10 09:28

    FPGA在深度神經(jīng)網(wǎng)絡(luò)中的應(yīng)用

    隨著人工智能技術(shù)的飛速發(fā)展,深度神經(jīng)網(wǎng)絡(luò)(Deep Neural Network, DNN)作為其核心算法之一,在圖像識(shí)別、語(yǔ)音識(shí)別、自然語(yǔ)言處理等領(lǐng)域取得了顯著成果。然而,傳統(tǒng)的深度神經(jīng)網(wǎng)絡(luò)
    的頭像 發(fā)表于 07-24 10:42 ?1191次閱讀

    如何構(gòu)建多層神經(jīng)網(wǎng)絡(luò)

    構(gòu)建多層神經(jīng)網(wǎng)絡(luò)(MLP, Multi-Layer Perceptron)模型是一個(gè)在機(jī)器學(xué)習(xí)深度學(xué)習(xí)領(lǐng)域廣泛使用的技術(shù),尤其在處理分類和回歸問(wèn)題時(shí)。在本文中,我們將深入探討如何從頭
    的頭像 發(fā)表于 07-19 17:19 ?1545次閱讀

    Python自動(dòng)訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)

    人工神經(jīng)網(wǎng)絡(luò)(ANN)是機(jī)器學(xué)習(xí)中一種重要的模型,它模仿了人腦神經(jīng)元的工作方式,通過(guò)多層節(jié)點(diǎn)(神經(jīng)元)之間的連接和權(quán)重調(diào)整來(lái)學(xué)習(xí)和解決問(wèn)題。
    的頭像 發(fā)表于 07-19 11:54 ?692次閱讀

    深度神經(jīng)網(wǎng)絡(luò)模型量化的基本方法

    深度神經(jīng)網(wǎng)絡(luò)模型量化是深度學(xué)習(xí)領(lǐng)域中的一種重要優(yōu)化技術(shù),旨在通過(guò)減少模型參數(shù)的精度(即從高精度浮點(diǎn)數(shù)如32位浮點(diǎn)數(shù)FP32降低到低精度整數(shù)如8位整數(shù)INT8或更低)來(lái)降低模型的計(jì)算和存
    的頭像 發(fā)表于 07-15 11:26 ?1317次閱讀

    深度神經(jīng)網(wǎng)絡(luò)在雷達(dá)系統(tǒng)中的應(yīng)用

    深度神經(jīng)網(wǎng)絡(luò)(Deep Neural Networks,DNN)在雷達(dá)系統(tǒng)中的應(yīng)用近年來(lái)取得了顯著進(jìn)展,為雷達(dá)信號(hào)處理、目標(biāo)檢測(cè)、跟蹤以及識(shí)別等領(lǐng)域帶來(lái)了革命性的變化。以下將詳細(xì)探討深度神經(jīng)網(wǎng)
    的頭像 發(fā)表于 07-15 11:09 ?1544次閱讀
    主站蜘蛛池模板: 91女神娇喘 | 9420高清免费观看在线大全 | 粗壮挺进邻居人妻无码 | 日本久久高清视频 | 亚洲国产在线精品第二剧情不卡 | 色中色最新地址登陆 | 超碰97人人做人人爱少妇 | 让男人玩尿道的女人 | 十8禁用B站在线看漫画 | 97人人看碰人免费公开视频 | 欧美午夜免费观看福利片 | 尹人久久大香找蕉综合影院 | 推倒美女总裁啪啪 | 亚洲精品午睡沙发系列 | 国产精品日本一区二区在线播放 | 天天久久狠狠色综合 | 亚洲国产精品嫩草影院 | 国产精品JIZZ视频免费 | 同居了嫂子在线观看 | xxx69欧美| 久久99热这里只频精品6 | 99久久国产综合精品网成人影院 | 天天爽夜夜爽夜夜爽 | 伊人久久免费 | 亚洲AV久久久噜噜噜噜 | 午夜福利影院私人爽爽 | 久久精品WWW人人爽人人 | 在线播放免费人成视频 | 成人小视频免费在线观看 | 成人国内精品久久久久影院 | 暖暖的视频完整视频免费韩国 | 欧美片第1页 综合 | 久久天堂成人影院 | 亚洲一区二区三区乱码在线欧洲 | 高h gl肉文 | 无码AV精品久久一区二区免费 | 男人边吃奶边摸边做刺激情话 | 一区二区三区四区国产 | 最近中文字幕无吗免费高清 | 影音先锋xfplay影院av | 肉动漫无修3D在线观看 |

    電子發(fā)燒友

    中國(guó)電子工程師最喜歡的網(wǎng)站

    • 2931785位工程師會(huì)員交流學(xué)習(xí)
    • 獲取您個(gè)性化的科技前沿技術(shù)信息
    • 參加活動(dòng)獲取豐厚的禮品