色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

改進Hinton的Dropout:可以用來減輕欠擬合了

深度學習自然語言處理 ? 來源:機器之心 ? 2023-03-13 10:15 ? 次閱讀

深度學習三巨頭之一 Geoffrey Hinton 在 2012 年提出的 dropout 主要用來解決過擬合問題,但近日的一項工作表明,dropout 能做的事情不止于此。

2012 年,Hinton 等人在其論文《Improving neural networks by preventing co-adaptation of feature detectors》中提出了 dropout。同年,AlexNet 的出現開啟了深度學習的新紀元。AlexNet 使用 dropout 顯著降低了過擬合,并對其在 ILSVRC 2012 競賽中的勝利起到了關鍵作用。可以這么說,如果沒有 dropout,我們目前在深度學習領域看到的進展可能會被推遲數年。

自 dropout 推出以后,它被廣泛用作正則化器,降低神經網絡中的過擬合。dropout 使用概率 p 停用每個神經元,防止不同的特征相互適應。應用 dropout 之后,訓練損失通常增加,而測試誤差減少,從而縮小模型的泛化差距。深度學習的發展不斷引入新的技術和架構,但 dropout 依然存在。它在最新AI 成果中繼續發揮作用,比如 AlphaFold 蛋白質預測、DALL-E 2 圖像生成等,展現出了通用性和有效性。

盡管 dropout 持續流行,但多年來其強度(以drop rate p 表示)一直在下降。最初的 dropout 工作中使用了 0.5 的默認drop rate。然而近年來常常采用較低的drop rate,比如 0.1,相關示例可見訓練 BERT 和 ViT。這一趨勢的主要動力是可用訓練數據的爆炸式增長,使得過擬合越來越困難。加之其他因素,我們可能很快會遇到更多欠擬合而非過擬合問題。

近日在一篇論文《Dropout Reduces Underfitting》中,Meta AI、加州大學伯克利分校等機構的研究者展示了如何使用 dropout 來解決欠擬合問題。

af69e298-c142-11ed-bfe3-dac502259ad0.png

論文標題:

Dropout Reduces Underfitting

論文鏈接:

https://arxiv.org/abs/2303.01500

他們首先通過對梯度范數的有趣觀察來研究 dropout 的訓練動態,然后得出了一個關鍵的實證發現:在訓練初始階段,dropout 降低小批量的梯度方差,并允許模型在更一致的方向上更新。這些方向也更與整個數據集的梯度方向保持一致,具體如下圖 1 所示。

因此,模型可以更有效地優化整個訓練集的訓練損失,而不會受到個別小批量的影響。換句話說,dropout 抵消了隨機梯度下降(SGD)并防止訓練早期采樣小批量的隨機性所造成的過度正則化。

af825184-c142-11ed-bfe3-dac502259ad0.png

基于這一發現,研究者提出了 early dropout(即 dropout 僅在訓練早期使用),來幫助欠擬合模型更好地擬合。與無 dropout 和標準 dropout 相比,early dropout 降低了最終的訓練損失。相反,對于已經使用標準 dropout 的模型,研究者建議在早期訓練 epoch 階段移除 dropout 以降低過擬合。他們將這一方法稱為 late dropout,并證明它可以提升大模型的泛化準確率。下圖 2 比較了標準 dropout、early 和 late dropout。

afd0d444-c142-11ed-bfe3-dac502259ad0.png

研究者在圖像分類和下游任務上使用不同的模型來評估 early dropout 和 late dropout,結果顯示二者始終比標準 dropout 和無 dropout 產生了更好的效果。他們希望自己的研究發現可以為 dropout 和過擬合提供新穎的見解,并激發人們進一步開發神經網絡正則化器。

分析與驗證

在提出 early dropout 和 late dropout 之前,該研究探討了是否可以使用 dropout 作為減少欠擬合的工具。該研究使用其提出的工具和指標對 dropout 的訓練動態進行了詳細分析,并比較了 ImageNet 上兩個 ViT-T/16 的訓練過程(Deng et al., 2009):一個沒有 dropout 作為基線;另一個在整個訓練過程中有 0.1 的 dropout 率。

梯度范數(norm)。該研究首先分析了 dropout 對梯度 g 強度的影響。如下圖 6(左)所示,dropout 模型產生范數較小的梯度,表明它在每次梯度更新時采用較小的步長(step)。

模型距離。由于梯度步長更小,我們期望 dropout 模型相對于其初始點移動的距離比基線模型更小。如下圖 6(右)所示,該研究繪制了每個模型與其隨機初始化的距離。然而,令人驚訝的是,dropout 模型實際上比基線模型移動了更大的距離,這與該研究最初基于梯度范數的預期相反。

aff07286-c142-11ed-bfe3-dac502259ad0.png

梯度方向方差。該研究首先假設 dropout 模型在小批量中產生更一致的梯度方向。下圖 7 所示的方差與假設基本一致。直到一定的迭代次數(大約 1000 次)以后,dropout 模型和基線模型的梯度方差都在一個較低的水平波動。

b03f45d2-c142-11ed-bfe3-dac502259ad0.png

梯度方向誤差。然而,正確的梯度方向應該是什么?為了擬合訓練數據,基本目標是最小化整個訓練集的損失,而不僅僅是任何一個小批量的損失。該研究在整個訓練集上計算給定模型的梯度,其中 dropout 設置為推理模式以捕獲完整模型的梯度。梯度方向誤差如下圖 8 所示。

b062345c-c142-11ed-bfe3-dac502259ad0.png

基于上述分析,該研究發現盡早使用 dropout 可以潛在地提高模型對訓練數據的擬合能力。而是否需要更好地擬合訓練數據取決于模型是處于欠擬合還是過擬合狀態,這可能很難精確定義。該研究使用如下標準:

1. 如果一個模型在標準 dropout 下泛化得更好,則認為它處于過擬合狀態;

2. 如果模型在沒有 dropout 的情況下表現更好,則認為它處于欠擬合狀態。

模型所處的狀態不僅取決于模型架構,還取決于所使用的數據集和其他訓練參數

然后,該研究提出了 early dropout 和 late dropout 兩種方法:

early dropout:在默認設置下,欠擬合狀態下的模型不使用 dropout。為了提高其適應訓練數據的能力,該研究提出 early dropout:在某個迭代之前使用 dropout,然后在其余的訓練過程中禁用 dropout。該研究實驗表明,early dropout 減少了最終的訓練損失并提高了準確性。

late dropout:過擬合模型的訓練設置中已經包含了標準的 dropout。在訓練的早期階段,dropout 可能會無意中造成過擬合,這是不可取的。為了減少過擬合,該研究提出 late dropout:在某個迭代之前不使用 dropout,而是在其余的訓練中使用 dropout。

該研究提出的方法在概念和實現上都很簡單,如圖 2 所示。實現時需要兩個超參數:1) 在打開或關閉 dropout 之前等待的 epoch 數;2)drop rate p,類似于標準的 dropout rate。該研究表明,這兩種超參數可以保證所提方法的穩健性。

實驗及結果

研究者在具有 1000 個類和 1.2M 張訓練圖像的 ImageNet-1K 分類數據集上進行了實證評估,并報告了 top-1 驗證準確率。

具體結果首先如下表 1(上部)所示,early dropout 持續提升測試準確率,降低訓練損失,表明早期階段的 dropout 有助于模型更好地擬合數據。研究者還展示了使用 drop rate 為 0.1 時與標準 dropout、隨機深度(s.d.)的比較結果,這兩者都對模型具有負面影響。

此外,研究者將訓練 epoch 增加一倍并減少 mixup 和 cutmix 強度,從而改進了這些小模型的方法。下表 1(底部)的結果表明,基線準確率顯著提升,有時甚至大大超越了以往工作的結果。

b0b8aea4-c142-11ed-bfe3-dac502259ad0.png

為了評估 late dropout,研究者選擇了更大的模型,即分別具有 59M 和 86M 參數的 ViT-B 和 Mixer-B,使用了基礎的訓練方法。

結果如下表 3 所示,與標準 s.d. 相比,late s.d. 提升了測試準確率。這一提升是在保持 ViT-B 或增加 Mixer-B 訓練損失的同時實現的,表明 late s.d. 有效降低了過擬合。

b0e8ad98-c142-11ed-bfe3-dac502259ad0.png

最后,研究者在下游任務上對預訓練 ImageNet-1K 模型進行微調,并對它們進行評估。下游任務包括 COCO 目標檢測與分割、ADE20K 語義分割以及在 C-100 等五個數據集上的下游分類。目標是在微調階段不使用 early dropout 或 late dropout 的情況下評估學得的表示。

結果如下表 4、5 和 6 所示,首先當在 COCO 上進行微調時,使用 early dropout 或 s.d. 進行預訓練的模型始終保持優勢。

b157f59a-c142-11ed-bfe3-dac502259ad0.png

其次對于 ADE20K 語義分割任務而言,使用本文方法進行預訓練的模型優于基準模型。

b18abc3c-c142-11ed-bfe3-dac502259ad0.png

最后是下游分類任務,本文方法在大多數分類任務上提升了泛化性能。

b194344c-c142-11ed-bfe3-dac502259ad0.png

審核編輯 :李倩

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 模型
    +關注

    關注

    1

    文章

    3229

    瀏覽量

    48810
  • 數據集
    +關注

    關注

    4

    文章

    1208

    瀏覽量

    24689
  • 深度學習
    +關注

    關注

    73

    文章

    5500

    瀏覽量

    121113

原文標題:改進Hinton的Dropout:可以用來減輕欠擬合了

文章出處:【微信號:zenRRan,微信公眾號:深度學習自然語言處理】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    壓保護電路的少許改進方案

    仔細分析一款簡單的壓保護電路發現它并不能實現壓保護功能,需要進行改進改進后的電路比原電路使用的l1個元件數量還要少。
    發表于 01-11 10:38 ?4194次閱讀
    <b class='flag-5'>欠</b>壓保護電路的少許<b class='flag-5'>改進</b>方案

    機器學習基礎知識 包括評估問題,理解過擬合擬合以及解決問題的技巧

    本章涵蓋了以下主題: · 分類和回歸之外的其他類型的問題; · 評估問題,理解過擬合擬合,以及解決這些問題的技巧; · 為深度學習準備數據。 請記住,在本章中討論的大多數技術都是機器學習和深度
    發表于 07-12 09:28 ?946次閱讀
    機器學習基礎知識 包括評估問題,理解過<b class='flag-5'>擬合</b>、<b class='flag-5'>欠</b><b class='flag-5'>擬合</b>以及解決問題的技巧

    FPGA可以用來做數字電源嗎?

    請問: FPGA可以用來做數字電源嗎?有參考設計案例嗎? FPGA和DSP做數字電源的優缺點是什么?
    發表于 01-08 22:24

    擬合擬合以及模型的判斷

    python-學習曲線,判斷過擬合擬合
    發表于 04-24 10:23

    模型的過擬合擬合總體解決方案

    15 模型的過擬合 & 擬合 & 總體解決方案
    發表于 05-15 07:49

    深度學習中過擬合/擬合的問題及解決方案

    的數據可以對未來的數據進行推測與模擬,因此都是使用歷史數據建立模型,即使用已經產生的數據去訓練,然后使用該模型去擬合未來的數據。 在我們機器學習和深度學習的訓練過程中,經常會出現過擬合
    發表于 01-28 06:57

    VHDL語言是什么可以用來干嘛?

    VHDL語言是什么可以用來干嘛
    發表于 10-18 07:34

    MP3不僅是用來聽的,也可以用來玩的

    MP3不僅是用來聽的,也可以用來玩的 以VX系列MP3為例,將固件及其升級所帶來的好處做一些案例性的介紹,可以將MP3與手機的使用做
    發表于 02-02 11:42 ?647次閱讀

    基于動態dropout改進堆疊自動編碼機方法

    針對堆疊自動編碼機( SA)容易產生過擬合而降低垃圾郵件分類精度的問題,提出了一種基于動態dropout改進堆疊自動編碼機方法。首先分析垃圾郵件分類問題的特殊性,將
    發表于 12-26 14:37 ?0次下載
    基于動態<b class='flag-5'>dropout</b>的<b class='flag-5'>改進</b>堆疊自動編碼機方法

    Python編程一般可以用來做什么

    很多朋友可能會問,為什么要學Python, 就算學會了Python 可以用來干什么呢? 一般都會首先想到爬蟲.爬蟲不是說的那種蟲子哦, 爬蟲其實就是 類似于百度蜘蛛,谷歌蜘蛛一樣的. 會自動的爬取網頁上的內容。
    發表于 07-05 14:51 ?5993次閱讀

    擬合和過擬合是什么?解決方法總結

    擬合是指模型在訓練集上表現很好,到了驗證和測試階段就大不如意,即模型的泛化能力很差。
    的頭像 發表于 01-29 17:48 ?3.1w次閱讀
    <b class='flag-5'>欠</b><b class='flag-5'>擬合</b>和過<b class='flag-5'>擬合</b>是什么?解決方法總結

    深度學習中過擬合擬合問題及解決方案

    如何判斷過擬合呢?我們在訓練過程中會定義訓練誤差,驗證集誤差,測試集誤差(泛化誤差)。訓練誤差總是減少的,而泛化誤差一開始會減少,但到一定程序后不減反而增加,這時候便出現擬合的現象。
    發表于 01-22 07:44 ?6次下載
    深度學習中過<b class='flag-5'>擬合</b>、<b class='flag-5'>欠</b><b class='flag-5'>擬合</b>問題及解決方案

    cbb電容可以用來阻容降壓嗎

    阻容降壓電路也是非常常見的一種電路,它特別簡單,而且成本極低,性價比特別高,所以平時的使用量還是特別大的,通常用于小功率的負載供電,比如電表、溫控器、LED燈等,cbb電容可以用來阻容降壓嗎?本文
    的頭像 發表于 12-31 11:09 ?1413次閱讀
    cbb電容<b class='flag-5'>可以用來</b>阻容降壓嗎

    mos管可以用來轉電源極性嗎?

    mos管可以用來轉電源極性嗎? MOS管是一個基本的電子元件,由于其高頻特性、低開關電阻和低噪聲水平而得到了廣泛的應用。它也被稱為“金屬氧化物半導體場效應晶體管”(MOSFET)。 它是一種晶體管
    的頭像 發表于 09-17 09:57 ?732次閱讀

    地球上有多少硅原子可以用來生成晶體管呢?

    硅是常見的元素,那么地球上有多少硅原子可以用來生成晶體管
    的頭像 發表于 12-22 10:51 ?1503次閱讀
    地球上有多少硅原子<b class='flag-5'>可以用來</b>生成晶體管呢?
    主站蜘蛛池模板: 精品国产高清自在线看| 午夜精品久久久久久久99蜜桃 | 超碰在线 视频| 69亞洲亂人倫AV精品發布| 美女直播喷水| 厕所xxxxx| 午夜影院和视费x看| 九九在线中文字幕无码| 91日本在线观看亚洲精品| 欧美日韩精品一区二区三区四区| 啊灬啊灬啊灬快高潮视频| 三级网址在线观看| 韩国g奶空姐| 中国xxxxxz| 日本aa大片| 韩国黄色影院| 99久久免费国产精品特黄| 丝瓜视频樱桃视频在线观看免费| 国产精品玖玖玖影院| 樱花草在线观看影院| 日本xxxx96| 久久99AV无色码人妻蜜| caoporn免费视频在线| 亚洲高清在线天堂精品| 内射一区二区精品视频在线观看| 国产不卡无码高清视频| 一本道高清码v京东热| 软糯白嫩双性受h| 久久青青热| 国产精品久久欧美一区| 最新国产av.在线视频| 无码人妻精品一区二区蜜桃色欲| 久久蜜视频| 国产人妻XXXX精品HD电影| 91嫩草视频在线观看| 亚洲精品成人久久久影院| 欧美成人无码视频午夜福利| 精品亚洲永久免费精品| 国产福利一区二区精品| BL低喘贯穿顶弄老师H| 亚洲综合AV在线在线播放|