ICLR 2019最佳論文日前揭曉。來(lái)自微軟研究院、加拿大蒙特利爾學(xué)習(xí)算法研究所 (MILA)和來(lái)自麻省理工學(xué)院計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室(MIT CSAIL)奪得本次大會(huì)的最佳論文獎(jiǎng)項(xiàng)。

其中，來(lái)自微軟研究院、加拿大蒙特利爾學(xué)習(xí)算法研究所的論文《有序神經(jīng)元：將樹結(jié)構(gòu)集成到循環(huán)神經(jīng)網(wǎng)絡(luò)》探討了自然語(yǔ)言的處理問(wèn)題。文中提到，自然語(yǔ)言是分層結(jié)構(gòu)的，較小的單元嵌套在較大的單元中，當(dāng)較大的組件結(jié)束時(shí)，嵌套在其中的所有較小的組件也必須關(guān)閉。雖然標(biāo)準(zhǔn)的LSTM架構(gòu)允許不同的神經(jīng)元在不同的時(shí)間尺度上跟蹤信息，但它并沒(méi)有明確偏向建模成分的層次結(jié)構(gòu)。因此，提出了通過(guò)對(duì)神經(jīng)元進(jìn)行排序來(lái)增加這種歸納偏差。

來(lái)自麻省理工學(xué)院計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室的論文《彩票假設(shè)：尋找稀疏的、可訓(xùn)練的神經(jīng)網(wǎng)絡(luò)》探討了模型壓縮問(wèn)題，提出了一個(gè)新的概念——彩票假說(shuō)：密集、隨機(jī)初始化的前饋網(wǎng)絡(luò)包含子網(wǎng)絡(luò)("中獎(jiǎng)彩票")，當(dāng)單獨(dú)訓(xùn)練時(shí)，這些子網(wǎng)絡(luò)能夠在相似的迭代次數(shù)中達(dá)到與原始網(wǎng)絡(luò)相當(dāng)?shù)臏y(cè)試準(zhǔn)確度。

作為深度學(xué)習(xí)領(lǐng)域的頂級(jí)盛會(huì)，ICLR每年都會(huì)收到來(lái)自世界各地的專家、學(xué)者的投稿。根據(jù)官方消息，ICLR 2019共收到了1578篇投稿，相比ICLR 2018的935篇有了大幅增加。不過(guò)，有數(shù)據(jù)顯示，ICLR 2018論文平均得分是5.24分，而2019年的論文平均得分為5.15分，比2018年下降近0.2分。