色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

ICLR 2019在官網公布了最佳論文獎!

DPVg_AI_era ? 來源:lq ? 2019-05-07 09:00 ? 次閱讀

ICLR 2019今天在官網公布了最佳論文獎!兩篇最佳論文分別來自Mila/加拿大蒙特利爾大學、微軟蒙特利爾研究院和MIT CSAIL,主題分別集中在NLP深度學習模型和神經網絡壓縮。

今天,ICLR 2019在官網公布了最佳論文獎!

兩篇最佳論文分別來自Mila/加拿大蒙特利爾大學、微軟蒙特利爾研究院和MITCSAIL,主題分別集中在NLP深度學習模型和神經網絡壓縮。

ICLR 是深度學習領域的頂級會議,素有深度學習頂會 “無冕之王” 之稱。今年的 ICLR 大會從5月6日到5月9日在美國新奧爾良市舉行。

今年 ICLR 共接收 1578 篇投稿,相較去年 981 篇有了很大的增加,錄用結果如下:1.5% 錄用為 oral 論文(24 篇)、30.2% 錄用為 poster 論文(476 篇),58% 論文被拒(918 篇)、610% 撤回(160 篇)。

與往年一樣,ICLR 2019采用公開評審制度,所有論文會匿名公開在 open review 網站上,接受同行們的匿名評分和提問。

今年論文平均打分是 5.15

關鍵詞排序前 50

接下來,新智元帶來兩篇最佳論文的解讀:

最佳論文1:有序神經元:將樹結構集成到循環神經網絡

標題:Ordered Neurons: Integrating Tree Structures into Recurrent Neural Networks

《有序神經元:將樹結構集成到循環神經網絡》

作者:Yikang Shen,Shawn Tan,Alessandro Sordoni,Aaron Courville

作者機構:Mila/加拿大蒙特利爾大學、微軟蒙特利爾研究院

論文地址:https://openreview.net/forum?id=B1l6qiR5F7

摘要:

自然語言是一種分層結構:較小的單元(例如短語)嵌套在較大的單元(例如子句)中。當較大的成分結束時,嵌套在其中的所有較小單元也必須結束。雖然標準的LSTM架構允許不同的神經元在不同的時間尺度上跟蹤信息,但它并沒有明確地偏向于對成分層次結構建模。

本文提出通過對神經元進行排序來增加這種歸納偏差;一個主輸入和遺忘門的向量確保當一個給定的神經元被更新時,按照順序跟隨它的所有神經元也被更新。所提出的新循環結構稱為有序神經元LSTM (ordered neurons LSTM, ON-LSTM),在語言建模、無監督句法分析、目標語法評估和邏輯推理四個不同的任務上都取得了良好的性能。

關鍵詞:深度學習,自然語言處理,遞歸神經網絡,語言建模

一句話概括:本文提出一種新的歸納偏置,將樹結構集成到循環神經網絡中。

從實用的角度看,將樹結構集成到神經網絡語言模型中有以下幾個重要原因:

深度神經網絡的一個關鍵特征是獲得抽象層次不斷增加的分層表示;

建模語言的組成效應,并為梯度反向傳播提供快捷方式,以幫助解決長期依賴問題;

通過更好的歸納偏置改進泛化,同時能夠減少對大量訓練數據的需求。

圖1:由模型推斷的二進制解析樹(左)及其對應的round-truth(右)。

問題是:具有對學習這種潛在樹結構的歸納偏置的架構能否獲得更好的語言模型?

在這篇論文中,我們提出有序神經元(ordered neurons),這是一種面向循環神經網絡的新型歸納偏置。這種歸納偏置增強了存儲在每個神經元中的信息的生命周期的分化:高級神經元存儲長期信息,這些信息通過大量步驟保存,而低級神經元存儲短期信息,這些信息可以很快被遺忘。

為了避免高級和低級神經元之間的固定劃分,我們提出一種新的激活函數——cumulative softmax,或稱為cumax(),用于主動分配神經元來存儲長/短期信息。

基于cumax()和LSTM架構,我們設計了一個新的模型ON-LSTM,該模型偏向于執行類似樹的組合操作。

ON-LSTM模型在語言建模、無監督成分句法分析、目標句法評估和邏輯推理四項任務上都取得了良好的性能。對無監督成分句法分析的結果表明,所提出的歸納偏置比以前模型更符合人類專家提出的語法原則。實驗還表明,在需要捕獲長期依賴關系的任務中,ON-LSTM模型的性能優于標準LSTM模型。

有序神經元

圖2:一個成分解析樹和ON-LSTM的隱藏狀態之間的對應關系

ON-LSTM

ON-LSTM模型與標準LSTM的架構類似:

與LSTM的不同之處在于,這里用了一個新函數替換cell state的?update?函數。

實驗

語言建模

表1:Penn Treebank語言建模任務驗證集和測試集上的單模型困惑度。

如表1所示,ON-LSTM模型在共享相同的層數、嵌入維數和隱藏狀態單元的情況下,比標準的LSTM性能更好。值得注意的是,我們可以在不添加skip connection或顯著增加參數數量的情況下提高LSTM模型的性能。

無監督成分句法分析(ConstituencyParsing)

表2:在full WSJ10和WSJ test兩個數據集上評估的成分句法分析結果

目標句法評估

表3:ON-LSTM和LSTM在每個測試用例中的總體精度

表3顯示,ON-LSTM在長期依賴情況下表現更好,而基線LSTM在短期依賴情況下表現更好。不過,ON-LSTM在驗證集上實現了更好的困惑度。

邏輯推理

圖3:模型的測試準確性,在邏輯數據的短序列(≤6)上訓練。

圖3顯示了ON-LSTM和標準LSTM在邏輯推理任務上的性能。

最佳論文2:彩票假設

標題:The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks

《彩票假設:尋找稀疏的、可訓練的神經網絡》

作者:Jonathan Frankle,Michael Carbin

作者機構:MIT CSAIL

論文地址:https://openreview.net/forum?id=rJl-b3RcF7

摘要:

神經網絡剪枝技術可以在不影響精度的前提下,將訓練網絡的參數數量減少90%以上,降低存儲需求并提高推理的計算性能。然而,當前的經驗是,剪枝產生的稀疏架構從一開始就很難訓練,這同樣可以提高訓練性能。

我們發現,一種標準的剪枝技術可以自然地揭示子網絡,這些子網絡的初始化使它們能夠有效地進行訓練。基于這些結果,我們提出了“彩票假設”(lottery ticket hypothesis):包含子網絡(“中獎彩票”,winning tickets)的密集、隨機初始化的前饋網絡,這些子網絡在單獨訓練時,經過類似次數的迭代達到與原始網絡相當的測試精度。我們找到的“中獎彩票”中了初始化彩票:它們的連接具有初始權重,這使得訓練特別有效。

我們提出一個算法來確定中獎彩票,并激進型了一系列實驗來支持彩票假說以及這些偶然初始化的重要性。我們發現,MNIST和CIFAR10的中獎彩票的規模始終比幾個全連接架構和卷積前饋架構小10-20%。超過這個規模的話,我們發現中獎彩票比原來的網絡學習速度更快,達到了更高的測試精度。

關鍵詞:神經網絡,稀疏性,剪枝,壓縮,性能,架構搜索

一句話概括:可以在訓練后剪枝權重的前饋神經網絡,也可以在訓練前剪枝相同的權重。

本文證明了,始終存在較小的子網絡,它們從一開始就進行訓練,學習速度至少與較大的子網絡一樣快,同時能達到類似的測試精度。

圖1:早期停止發生的迭代(左邊)和用于MNIST的Lenet架構以及用于CIFAR10的conv2、conv4和conv6架構的迭代(右邊)的測試精度。虛線是隨機抽樣的稀疏網絡。實線是中獎彩票。

圖1中的實線顯示了我們找到的網絡,即winning tickets。

論文提出了幾個新概念,首先是“彩票假設”(The Lottery Ticket Hypothesis)。

彩票假設:將一個復雜網絡的所有參數當作一個獎池,獎池中存在一組子參數所對應的子網絡(代表中獎號碼,文中的wining ticket),單獨訓練該子網絡,可以達到原始網絡的測試精度。

那么怎樣找到中獎彩票呢?

確定中獎彩票:通過訓練一個網絡并修剪它的最小量級權重來確定中獎彩票。其余未修剪的連接構成了中獎彩票的架構。

具體來說,有以下4步:

隨機初始化一個復雜神經網絡

訓練復雜網絡j次,得到網絡參數

對模型按p%進行修剪,得到一個mask m;將

對留下來的模型,重新用

圖2:本文測試的架構

本文的貢獻

我們證明剪枝可以揭示可訓練的子網絡,這些子網絡達到了與原始網絡相當的測試精度;

我們證明剪枝發現的中獎彩票比原始網絡學習更快,同時具有更高的測試精度和更好的泛化能力。

我們提出“彩票假設”,作為神經網絡組成的新視角,可以解釋這些發現。

應用

本文對彩票假設進行了實證研究。既然我們已經證明了中獎彩票的存在,我們希望利用這一知識:

提高訓練性能。由于中獎彩票可以從一開始就單獨進行訓練,我們希望能夠設計出能夠搜索中獎彩票并盡早進行修剪的訓練方案。

設計更好的網絡。中獎彩票揭示了稀疏架構和特別擅長學習的初始化的組合。我們可以從中獲得靈感,設計有助于學習的新架構和初始化方案。我們甚至可以把為一項任務發現的中獎彩票遷移到更多其他任務。

提高對神經網絡的理論理解。我們可以研究為什么隨機初始化的前饋網絡似乎包含中獎彩票,以及增加對優化和泛化的理論理解。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 神經網絡
    +關注

    關注

    42

    文章

    4771

    瀏覽量

    100720
  • 論文
    +關注

    關注

    1

    文章

    103

    瀏覽量

    14956
  • 深度學習
    +關注

    關注

    73

    文章

    5500

    瀏覽量

    121117

原文標題:ICLR 2019最佳論文揭曉!NLP深度學習、神經網絡壓縮成焦點

文章出處:【微信號:AI_era,微信公眾號:新智元】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    南芯科技再獲vivo 2024“優秀質量”與“最佳交付”雙殊榮

    芯繼 vivo 2022 “最佳交付”、vivo 2023 “優秀質量”及“最佳交付”、vivo 2023 “
    的頭像 發表于 12-19 18:46 ?390次閱讀
    南芯科技再獲vivo 2024“優秀質量<b class='flag-5'>獎</b>”與“<b class='flag-5'>最佳</b>交付<b class='flag-5'>獎</b>”雙殊榮

    天馬榮獲vivo 2024年度“優秀質量”和“最佳交付

    近日,2024年度vivo商業伙伴質量&創新溝通會在東莞召開,天馬榮獲vivo 2024年度 “優秀質量”及“最佳交付”。
    的頭像 發表于 12-14 17:03 ?509次閱讀

    Bourns榮獲2024亞洲金選最佳分立器件

    榮幸見證 Bourns 2024 亞洲 EE 上大放異彩,憑借 PTVS2-xxxC-H 高電流 TVS 二極管 榮獲 年度最佳分立器件!該獎項由美國柏恩亞太區業務副總經理 -
    的頭像 發表于 12-09 11:46 ?230次閱讀

    摩爾斯微電子榮獲2024年WBA行業大獎最佳Wi-Fi創新等多項殊榮

    ,鞏固Wi-Fi行業的領軍地位。除榮獲Wi-Fi Now的“最佳Wi-Fi物聯網產品”,并被Fast Company譽為“未來科技之星”(Next Big Things)外,摩爾
    發表于 11-01 14:41

    華銳捷榮獲第六屆金輯最佳技術實踐應用

    近日,2024第十二屆汽車與環境創新論壇暨第六屆金輯中國汽車新供應鏈百強頒獎盛典在上海圓滿落幕。在這場汽車行業的盛會上,浙江華銳捷技術有限公司憑借其Hi-Pilot前視輔助駕駛一體機,榮獲2024第六屆金輯
    的頭像 發表于 10-30 16:52 ?327次閱讀

    安富利榮獲第六屆金輯最佳技術實踐應用

    最佳技術實踐應用”。這一殊榮不僅彰顯安富利汽車電子領域中深厚積淀,更是對其技術實力和創新能力有力證明。
    的頭像 發表于 10-30 15:48 ?387次閱讀

    類比半導體榮獲第六屆金輯最佳技術實踐應用

    近日,由蓋世汽車主辦的第六屆“金輯”頒獎典禮圓滿落幕,類比半導體憑借卓越的產品與創新的技術,榮獲蓋世汽車2024第六屆金輯·中國汽車新供應鏈百強評選“最佳技術實踐應用”。這一榮譽
    的頭像 發表于 10-30 11:50 ?338次閱讀

    賽卓電子榮獲2024金輯——最佳技術實踐應用

    賽卓電子本次“金輯”評選過程中,憑借新品SC9685/86TS兩款變速箱傳感器芯片榮獲“金輯”2024中國汽車新供應鏈百強——最佳技術實踐應用
    的頭像 發表于 10-28 14:57 ?665次閱讀
    賽卓電子榮獲2024金輯<b class='flag-5'>獎</b>——<b class='flag-5'>最佳</b>技術實踐應用<b class='flag-5'>獎</b>

    愛芯元速榮膺最佳技術實踐應用

    愛芯元智車載事業部(品牌“愛芯元速”)憑借在車載芯片領域的創新技術研發實力以及推動量產上車方面的卓越成績收獲本屆“金輯”的“2024最佳技術實踐應用”。
    的頭像 發表于 10-25 11:39 ?332次閱讀

    安波福蘇州榮獲“2024大蘇州最佳雇主”及“2024最佳HR團隊

    日前,“2024第十一屆大蘇州最佳雇主”頒獎盛典隆重舉行。安波福電子(蘇州)有限公司獲頒“2024大蘇州最佳雇主”及“2024最佳HR團隊”。
    的頭像 發表于 10-14 09:54 ?527次閱讀

    2024年上海海思MCU開發者體驗招募,手機/MatePad大獎等你拿!

    名。 2)優秀MCU開發者體驗:按評選標總分第4-10名。 3)MCU開發者體驗貢獻:按評選標準總分大于60分,不含前10名。 4)最具商業價值
    發表于 08-02 17:29

    中科馭數聯合處理器芯片全國重點實驗室獲得“CCF芯片大會最佳論文

    Accelerator on FPGA with Graph Reordering Engine》獲得“CCF芯片大會最佳論文”。該項工作由鄢貴海研究員指導完成,論文第一作者是博士
    的頭像 發表于 08-02 11:09 ?606次閱讀

    南芯科技榮獲OPPO 2024 年度“最佳交付”和“優秀質量

    ? 近日,南芯科技(證券代碼:688484)憑借穩定的產品交付和過硬的產品質量,同時榮獲OPPO 2024 年度“最佳交付”和“優秀質量”。這兩個獎項旨在表彰 OPPO 長期優秀的合作伙伴
    的頭像 發表于 07-13 17:41 ?1666次閱讀

    千視榮獲2023年度DAV數字音視工程年度最佳解決方案

    近期,千視電子獲得“DAV數字音視工程”頒發的《年度最佳解決方案》,以表彰千視解決方案AVoverIP領域做出的一系列杰出貢獻。作為數字音視頻領域的權威媒體和評選平臺,DAV數字
    的頭像 發表于 02-19 12:24 ?377次閱讀
    千視榮獲2023年度DAV數字音視工程<b class='flag-5'>網</b>年度<b class='flag-5'>最佳</b>解決方案<b class='flag-5'>獎</b>!

    沙特stc和華為商用核心自動化實踐榮獲“年度最佳自動化項目

    近期,Global Telecom Awards(GTA)頒獎典禮英國倫敦舉行。沙特stc和華為因在核心自動化方面的創新實踐榮獲“年度最佳自動化項目”(Automation
    的頭像 發表于 01-17 10:15 ?447次閱讀
    主站蜘蛛池模板: 无码人妻99久久密AV| 玩弄人妻少妇500系列网址| 男女亲吻摸下面吃奶视频| 理论片午午伦夜理片I| 曼谷av女郎| 日本高清免费观看| 跳蛋按摩棒玉势PLAY高H| 亚洲国产精品线在线观看| 野花日本大全免费观看3中文版 | 99在线观看视频| 草莓在线观看| 国产精品久久久久一区二区三区| 国语92电影网午夜福利| 看看妇女的B免费看| 人曽交Z00Z0OA片| 亚洲AV无码一区二区三区乱子伦| 亚洲欧美日本久久综合网站| 97国产蝌蚪视频在线观看| 草莓AV福利网站导航| 国产网红主播精品福利大秀专区| 精品人妻一区二区三区视频53| 久久人妻少妇嫩草AV蜜桃99| 青青视频国产色偷偷| 亚洲 日本 欧美 中文字幕| 在线观看99| 港台三级大全| 久爱在线中文在观看| 青青草原影视| 亚洲一级特黄| 扒开校花粉嫩小泬喷潮漫画| 国产专区青青在线视频| 男女高潮又爽又黄又无遮挡| 午夜精品久久久久久99热蜜桃| 伊人影院综合| 俄罗斯xxxxxbbbbb| 久久精品人人做人人爽97| 日韩影院久久| 中文字幕亚洲男人的天堂网络 | 国产精品资源在线观看网站| 老师你奶真大下面水真多| 四虎影视永久无码精品|