色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

7個實用技巧,讓您的深度神經網絡發揮最大作用

lviY_AI_shequ ? 來源:lp ? 2019-04-02 15:12 ? 次閱讀

深度學習已經成為解決許多具有挑戰性的現實世界問題的方法。對目標檢測語音識別和語言翻譯來說,這是迄今為止表現最好的方法。許多人將深度神經網絡(DNNs)視為神奇的黑盒子,我們放進去一堆數據,出來的就是我們的解決方案!事實上,事情沒那么簡單。

在設計和應用DNN到一個特定的問題上可能會遇到很多挑戰。為了達到現實世界應用所需的性能標準,對數據準備,網絡設計,訓練和推斷等各個階段的正確設計和執行至關重要。在這里,我將與大家分享7個實用技巧,讓您的深度神經網絡發揮最大作用。

1 - 數據,數據,數據

這不是一個大秘密。一直工作得很好的深度學習機器需要燃料 - 大量的燃料; 燃料是數據。我們擁有的標記數據越多,模型的表現就越好。更多的數據導致更好的性能,已經由谷歌大規模的探索3億圖像的數據集印證!

在實際應用中部署Deep Learning模型時,您應該不斷地為其提供更多的數據和微調以繼續提高其性能。喂飽怪獸:如果你想提高你的模型的性能,那就獲得更多的數據!

不斷增加的數據產生更好的性能

2 - 你應該使用哪個優化器?

多年來,已經開發了許多梯度下降優化算法,各有其優缺點。一些最流行的包括:

· 隨機梯度下降(SGD)+動量方法

· Adam

· RMSprop

· Adadelta

RMSprop,Adadelta和Adam被認為是自適應優化算法,因為它們會自動更新學習速率。使用SGD時,您必須手動選擇學習率和動量參數,通常會隨著時間的推移而降低學習率。

在實踐中,自適應優化器傾向于比SGD更快地收斂,然而,他們的最終表現通常稍差。SGD通常會達到更好的最小值,從而獲得更好的最終準確性,但這可能需要比某些優化程序長得多的時間。它也更依賴于強大的初始化和學習速率衰減時間表,這在實踐中可能非常困難。

因此,如果你需要一些快速的結果,或者只是想測試一個新的技術,選擇自適應優化器。我發現Adam很容易使用,因為它對你選擇完美的學習率并不是很敏感。如果您想獲得絕對最佳的最終表現,請使用SGD + Momentum,并使用學習率,衰減和動量值來最大化表現。

兩全其美的方法有木有!

它最近的研究顯示,你可以做到兩全其美:高速訓練頂尖的性能通過切換從Adam到SGD!這個想法是,訓練的早期階段實際上是SGD對參數調整和初始化非常敏感的時候。因此,我們可以通過使用Adam來啟動我們的訓練,這將使您節省相當長的時間,而不必擔心初始化和參數調整。那么,一旦Adam運轉起來,我們可以切換到SGD +動量優化,以達到最佳性能!

Adam vs SGD表現。由于魯棒性和自適應學習速度,Adam在一開始表現更好,而SGD最終達到更好的全局最小值。

3 - 如何處理不平衡的數據

在很多情況下,您將處理不平衡的 數據,特別是在現實世界的應用程序中。舉一個簡單而實際的例子:為了安全起見,您正在訓練您的深度網絡以預測視頻流中是否有人持有致命武器。但是在你的訓練數據中,你只有50個拿著武器的人的視頻和1000個沒有武器的人的視頻!如果你只是用這些數據來訓練你的網絡,那么你的模型肯定會非常偏向于預測沒有人有武器!

有幾件事你可以做到這一點:

· 在損失函數中使用類權重:本質上,代表性不足的類在損失函數中獲得更高的權重,因此對該特定類的任何錯誤分類將導致損失函數中的非常高的誤差。

· 過度抽樣:重復一些包含代表性不足的訓練樣例,有助于平衡分配。如果可用的數據很小,這最好。

· 欠采樣:您可以簡單地跳過一些包含過度表示類的訓練示例。如果可用數據非常大,這最好。

· 數據增加為少數類:您可以綜合創建更多的代表性不足的訓練示例!例如,在前面檢測致命武器的例子中,你可以改變屬于具有致命武器的類別的視頻的一些顏色和光照。

4 - 遷移學習

正如我們在第一個提示中所看到的,深層網絡需要大量的數據。不幸的是,對于許多新的應用程序來說,這些數據可能很難并且花費很高。如果我們希望我們的模型表現良好,我們可能需要數十或數十萬個新的訓練樣例進行訓練。如果數據集不易獲取,則必須全部收集并手動標記。

這就是遷移學習的起點。通過遷移學習,我們不需要太多的數據!這個想法是從一個以前在數百萬圖像上訓練過的網絡開始的,比如在ImageNet上預訓練的ResNet。然后,我們將通過僅重新訓練最后幾個層并使其他層獨立來微調ResNet模型。那樣的話,我們正在將ResNet從數百萬圖像中學到的信息(圖像特征)進行微調,以便我們可以將它應用于不同的任務。這是可能的,因為跨域的圖像的特征信息通常非常相似,但是這些特征的分析可以根據應用而不同。

一個基本的遷移學習通道

5 - 快速簡單的數據增強,以提高性能

我們現在說過幾次:更多的數據=更好的表現。除了遷移學習之外,另一種快速而簡單的方法來提高模型的性能,即數據增強。數據增強涉及通過在使用原始類別標簽的同時通過改變數據集中的一些原始圖像來生成合成訓練示例。例如,圖像數據增強的常見方式包括:

· 水平和垂直旋轉或翻轉圖像

· 改變圖像的亮度和顏色

· 隨機模糊圖像

· 隨機從圖像裁剪補丁

基本上,你可以進行任何改變,改變圖像的外觀,但不是整體的內容,即你可以制作一個藍色的狗的照片,但你仍然應該能夠清楚地看到,照片上是一個狗。

數據裂變!

6 - 訓練模型的合奏!

機器學習中,集合訓練多個模型,然后將它們組合在一起以獲得更高的性能。因此,這個想法是在相同的數據集上訓練同一個任務上的多個深度網絡模型。模型的結果然后可以通過投票方案來進行組合,即具有最高票數的勝出。

為了確保所有模型不同,可以使用隨機權重初始化和隨機數據增強。眾所周知,由于使用了多個模型,因此集合通常比單個模型精確得多,因此從不同角度接近任務。在現實世界的應用中,尤其是挑戰或競爭中,幾乎所有頂級模型都使用合奏。

合奏模型

7 - 加快修剪

我們知道模型精度隨深度而增加,但速度又如何呢?更多的圖層意味著更多的參數,更多的參數意味著更多的計算,更多的內存消耗和更慢的速度。理想情況下,我們希望在提高速度的同時保持高精度。我們可以通過修剪來做到這一點。

深度神經網絡修剪的步驟

這個想法是,在網絡中的許多參數中,有些是多余的,對輸出沒有太大貢獻。如果您可以根據對網絡的貢獻排列網絡中的神經元,則可以從網絡中移除低排名的神經元,從而形成更小,更快的網絡。可以根據神經元權重的L1 / L2均值,平均激活,一些驗證集上神經元不為零的次數以及其他創造性方法來進行排序。獲得更快/更小的網絡對于在移動設備上運行深度學習網絡非常重要。

修剪網絡的最基本的方法是簡單地放棄某些卷積濾波器。在近期的一篇文章中,這樣做是相當成功的。這項工作中的神經元排名相當簡單:它是每個濾波器權重的L1范數。在每個修剪迭代中,他們對所有的過濾器進行排序,在全部層中修剪m個排名最低的過濾器,重新訓練和重復!

在近期的另一篇分析剩余網絡結構的文章中提出了修剪過濾器的一個關鍵洞察。作者指出,在刪除層的時候,具有剩余快捷連接的網絡(例如ResNets)與沒有使用任何快捷連接的網絡(如VGG或AlexNet)相比,保留更加良好的精度并且穩健得多。這個有趣的發現具有重要的實際意義,因為它告訴我們在修剪網絡進行部署和應用時,網絡設計是至關重要的(使用ResNets!)。所以使用最新最好的方法總是很好的!

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 神經網絡
    +關注

    關注

    42

    文章

    4771

    瀏覽量

    100719
  • 深度學習
    +關注

    關注

    73

    文章

    5500

    瀏覽量

    121113
  • 遷移學習
    +關注

    關注

    0

    文章

    74

    瀏覽量

    5559

原文標題:7個實用的深度學習技巧

文章出處:【微信號:AI_shequ,微信公眾號:人工智能愛好者社區】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    詳解深度學習、神經網絡與卷積神經網絡的應用

    在如今的網絡時代,錯綜復雜的大數據和網絡環境,傳統信息處理理論、人工智能與人工神經網絡都面臨巨大的挑戰。近些年,深度學習逐漸走進人們的視線
    的頭像 發表于 01-11 10:51 ?2025次閱讀
    詳解<b class='flag-5'>深度</b>學習、<b class='flag-5'>神經網絡</b>與卷積<b class='flag-5'>神經網絡</b>的應用

    神經網絡解決方案自動駕駛成為現實

    制造業而言,深度學習神經網絡開辟了令人興奮的研究途徑。為了實現從諸如高速公路全程自動駕駛儀的短時輔助模式到專職無人駕駛旅行的自動駕駛,汽車制造業一直在尋求響應速度更快、識別準確度更高的方法,而
    發表于 12-21 17:11

    從AlexNet到MobileNet,帶你入門深度神經網絡

    俊楠分享了典型模式-深度神經網絡入門。本文詳細介紹了關于深度神經網絡的發展歷程,并詳細介紹了各個階段模型的結構及特點。直播回顧請點擊以下是精彩視頻內容整理:問題引出學習知識從問題引出入
    發表于 05-08 15:57

    神經網絡資料

    基于深度學習的神經網絡算法
    發表于 05-16 17:25

    卷積神經網絡如何使用

    卷積神經網絡(CNN)究竟是什么,鑒于神經網絡在工程上經歷了曲折的歷史,為什么還會在意它呢? 對于這些非常中肯的問題,我們似乎可以給出相對簡明的答案。
    發表于 07-17 07:21

    解析深度學習:卷積神經網絡原理與視覺實踐

    解析深度學習:卷積神經網絡原理與視覺實踐
    發表于 06-14 22:21

    如何IIoT在工廠車間之外發揮大作用

    IIoT在工廠車間之外發揮大作用
    發表于 11-25 06:49

    深度神經網絡是什么

    多層感知機 深度神經網絡in collaboration with Hsu Chung Chuan, Lin Min Htoo, and Quah Jia Yong. 與許忠傳,林敏濤和華佳勇合作
    發表于 07-12 06:35

    卷積神經網絡模型發展及應用

    卷積神經網絡模型發展及應用轉載****地址:http://fcst.ceaj.org/CN/abstract/abstract2521.shtml深度學習是機器學習和人工智能研究的最新趨勢,作為一
    發表于 08-02 10:39

    【人工神經網絡基礎】為什么神經網絡選擇了“深度”?

    由 Demi 于 星期四, 2018-09-06 09:33 發表 現在提到“神經網絡”和“深度神經網絡”,會覺得兩者沒有什么區別,神經網絡還能不是“
    發表于 09-06 20:48 ?689次閱讀

    什么是神經網絡?什么是卷積神經網絡

    在介紹卷積神經網絡之前,我們先回顧一下神經網絡的基本知識。就目前而言,神經網絡深度學習算法的核心,我們所熟知的很多深度學習算法的背后其實都
    的頭像 發表于 02-23 09:14 ?3495次閱讀

    最流行神經網絡

    在本文中,我們將了解深度神經網絡的基礎知識和三最流行神經網絡:多層神經網絡(MLP),卷積神經網絡
    發表于 05-15 14:19 ?1404次閱讀
    三<b class='flag-5'>個</b>最流行<b class='flag-5'>神經網絡</b>

    卷積神經網絡深度神經網絡的優缺點 卷積神經網絡深度神經網絡的區別

    深度神經網絡是一種基于神經網絡的機器學習算法,其主要特點是由多層神經元構成,可以根據數據自動調整神經元之間的權重,從而實現對大規模數據進行預
    發表于 08-21 17:07 ?4093次閱讀

    深度神經網絡模型有哪些

    深度神經網絡(Deep Neural Networks,DNNs)是一類具有多個隱藏層的神經網絡,它們在許多領域取得了顯著的成功,如計算機視覺、自然語言處理、語音識別等。以下是一些常見的深度
    的頭像 發表于 07-02 10:00 ?1326次閱讀

    深度神經網絡與基本神經網絡的區別

    在探討深度神經網絡(Deep Neural Networks, DNNs)與基本神經網絡(通常指傳統神經網絡或前向神經網絡)的區別時,我們需
    的頭像 發表于 07-04 13:20 ?840次閱讀
    主站蜘蛛池模板: 小草观看免费高清视频| 办公室的秘密2中文字幕| 欧美怡红院视频一区二区三区| 俄罗斯bbbb| 亚洲在线v观看免费国| 色呦呦人人视频| 老熟女重囗味HDXX| 国产精品资源在线观看网站| 99久久久A片无码国产精| 亚欧免费观看在线观看更新| 青草影院天堂男人久久| 精品亚洲永久免费精品| 国产精品久久久久激情影院| 99er久久国产精品在线| 亚洲综合免费视频| 色婷婷亚洲五月| 欧美成人3d动漫专区| 久久九九亚洲精品| 国产一级做a爰片久久毛片男| 成片在线看一区二区草莓| 91国偷自产一区二区三区| 亚洲熟妇无码乱子AV电影| 四库影院永久国产精品| 青青娱乐网| 免费成年人在线观看视频| 九九热这里都是精品| 国产老头与老太hd| 沟沟人体一区二区| 成年性生交大片免费看| TUBE8最新日本护士| 97在线免费观看| 影音先锋av333资源网| 亚洲日韩国产精品乱-久| 羞羞影院男女爽爽影院尤物| 色人阁综合| 色宅男午夜电影网站| 日本一本免费线观看视频 | 国产一区二区在线观看免费| 高h辣h双处全是肉一对一| 丰满的大白屁股ass| 丹麦1o一19sex性hdhd|