色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

基于基本圖像處理技術的數據增強方法

深度學習自然語言處理 ? 來源:賽爾實驗室 ? 作者:賽爾實驗室 ? 2022-08-13 10:52 ? 次閱讀

什么是數據增強

數據增強(Data Augmentation)是一種通過讓有限的數據產生更多的等價數據來人工擴展訓練數據集的技術。它是克服訓練數據不足的有效手段,目前在深度學習的各個領域中應用廣泛。但是由于生成的數據與真實數據之間的差異,也不可避免地帶來了噪聲問題。

為什么需要數據增強

深度神經網絡在許多任務中表現良好,但這些網絡通常需要大量數據才能避免過度擬合。遺憾的是,許多場景無法獲得大量數據,例如醫學圖像分析。數據增強技術的存在是為了解決這個問題,這是針對有限數據問題的解決方案。數據增強一套技術,可提高訓練數據集的大小和質量,以便您可以使用它們來構建更好的深度學習模型。在計算視覺領域,生成增強圖像相對容易。即使引入噪聲或裁剪圖像的一部分,模型仍可以對圖像進行分類,數據增強有一系列簡單有效的方法可供選擇,有一些機器學習庫來進行計算視覺領域的數據增強,比如:imgaug(https://github.com/aleju/imgaug)它封裝了很多數據增強算法,給開發者提供了方便。但是在自然語言處理領域中,由于自然語言本身是離散的抽象符號,微小的變化就可能會導致含義的巨大偏差,所以數據增強算法并不常用。很多自然語言處理任務在真正落地的時候,往往會遇到數據量不足的問題,自然語言的數據增強算法值得我們深入研究。接下來我們先介紹計算視覺領域的數據增強方法,再介紹自然語言處理領域的數據增強算法,希望能對大家有所啟發。

計算視覺數據增強

計算視覺領域的數據增強算法大致可以分為兩類:第一類是基于基本圖像處理技術的數據增強,第二個類別是基于深度學習的數據增強算法。


下面先介紹基于基本圖像處理技術的數據增強方法:

幾何變換(Geometric Transformations):由于訓練集與測試集合中可能存在潛在的位置偏差,使得模型在測試集中很難達到訓練集中的效果,幾何變換可以有效地克服訓練數據中存在的位置偏差,而且易于實現,許多圖像處理庫都包含這個功能。

顏色變換(Color Space):圖片在輸入計算機之前,通常會被編碼為張量(高度×寬度×顏色通道),所以可以在色彩通道空間進行數據增強,比如將某種顏色通道關閉,或者改變亮度值。

旋轉 | 反射變換(Rotation/Reflection):選擇一個角度,左右旋轉圖像,可以改變圖像內容朝向。關于旋轉角度需要慎重考慮,角度太大或者太小都不合適,適宜的角度是1度 到 20度。

噪聲注入(Noise Injection):從高斯分布中采樣出的隨機值矩陣加入到圖像的RGB像素中,通過向圖像添加噪點可以幫助CNN學習更強大的功能。

內核過濾器(Kernel Filters):內核濾鏡是在圖像處理中一種非常流行的技術,比如銳化和模糊。將特定功能的內核濾鏡與圖像進行卷積操作,就可以得到增強后的數據。直觀上,數據增強生成的圖像可能會使得模型面對這種類型的圖像具有更高的魯棒性。

混合圖像(Mix):通過平均圖像像素值將圖像混合在一起是一種非常違反直覺的數據增強方法。對于人來說,混合圖像生成的數據似乎沒有意義。雖然這種方法缺乏可解釋性,但是作為一種簡單有效的數據增強算法,有一系列的工作進行相關的研究。Inoue在圖像每個像素點混合像素值來混合圖像,Summers和Dinneen又嘗試以非線性的方法來混合圖像,Takahashi和Matsubara通過隨機圖像裁剪和拼接來混合圖像,以及后來的mixup方法均取得了不錯的成果。

隨機擦除(Random Erasing):隨機擦除是Zhong等人開發的數據增強技術。他們受到Dropout機制的啟發,隨機選取圖片中的一部分,將這部分圖片刪除,這項技術可以提高模型在圖片被部分遮擋的情況下性能,除此之外還可以確保網絡關注整個圖像,而不只是其中的一部分。

縮放變換(Zoom):圖像按照一定的比例進行放大和縮小并不改變圖像中的內容,可以增加模型的泛化性能。

移動(Translation):向左,向右,向上或向下移動圖像可以避免數據中的位置偏差,比如在人臉識別數據集合中,如果所有圖像都居中,使用這種數據增強方法可以避免可能出現的位置偏差導致的錯誤。

翻轉變換(Flipping):通常是關于水平或者豎直的軸進行圖像翻轉操作,這種擴充是最容易實現的擴充,并且已經證明對ImageNet數據集有效。

裁剪(Cropping):如果輸入數據集合的大小是變化的,裁剪可以作為數據預處理的一個手段,通過裁剪圖像的中央色塊,可以得到新的數據。在實際使用過程之中,這些數據增強算法不是只使用一種,而是使用一套數據增強策略,在AutoAugment這篇文章中,作者嘗試讓模型自動選擇數據增強策略。

d370ce78-1a84-11ed-ba43-dac502259ad0.jpg

第二個類別是基于深度學習的數據增強算法:

特征空間增強(Feature Space Augmentation):神經網絡可以將圖像這種高維向量映射為低維向量,之前討論的所有圖像數據增強方法都應用于輸入空間中的圖像?,F在可以在特征空間進行數據增強操作,例如:SMOTE算法,它是一種流行的增強方法,通過將k個最近的鄰居合并以形成新實例來緩解類不平衡問題。

對抗生成(Adversarial Training):對抗攻擊表明,圖像表示的健壯性遠不及預期的健壯性,Moosavi-Dezfooli等人充分證明了這一點。對抗生成可以改善學習的決策邊界中的薄弱環節,提高模型的魯棒性。

基于GAN的數據增強(GAN-based Data Augmentation):使用 GAN 生成模型來生成更多的數據,可用作解決類別不平衡問題的過采樣技術。

神經風格轉換(Neural Style Transfer):通過神經網絡風格遷移來生成不同風格的數據,防止模型過擬合。

如果想要閱讀更多的細節,請參考這篇文章:

https://link.springer.com/article/10.1186/s40537-019-0197-0

自然語言處理數據增強

在自然語言處理領域,被驗證為有效的數據增強算法相對要少很多,下面我們介紹幾種常見方法。

同義詞詞典(Thesaurus):Zhang Xiang等人提出了Character-level Convolutional Networks for Text Classification,通過實驗,他們發現可以將單詞替換為它的同義詞進行數據增強,這種同義詞替換的方法可以在很短的時間內生成大量的數據。

隨機插入(Randomly Insert):隨機選擇一個單詞,選擇它的一個同義詞,插入原句子中的隨機位置,舉一個例子:“我愛中國” —> “喜歡我愛中國”。

隨機交換(Randomly Swap):隨機選擇一對單詞,交換位置。

隨機刪除(Randomly Delete):隨機刪除句子中的單詞。

語法樹結構替換:通過語法樹結構,精準地替換單詞。

加噪(NoiseMix) (https://github.com/noisemix/noisemix):類似于圖像領域的加噪,NoiseMix提供9種單詞級別和2種句子級別的擾動來生成更多的句子,例如:這是一本很棒的書,但是他們的運送太慢了。->這是本很棒的書,但是運送太慢了。

情境增強(Contextual Augmentation):這種數據增強算法是用于文本分類任務的獨立領域的數據擴充。通過用標簽條件的雙向語言模型預測的其他單詞替換單詞,可以增強監督數據集中的文本。

生成對抗網絡:利用生成對抗網絡的方法來生成和原數據同分布的數據,來制造更多的數據。在自然語言處理領域,有很多關于生成對抗網絡的工作:

Generating Text via Adversarial Training

GANS for Sequences of Discrete Elements with the Gumbel-softmax Distribution

SeqGAN: Sequence Generative Adversarial Nets with Policy Gradient

回譯技術(Back Translation):回譯技術是NLP在機器翻譯中經常使用的一個數據增強的方法。其本質就是快速產生一些翻譯結果達到增加數據的目的?;刈g的方法可以增加文本數據的多樣性,相比替換詞來說,有時可以改變句法結構等,并保留語義信息。但是,回譯的方法產生的數據嚴重依賴于翻譯的質量。

擴句-縮句-句法:先將句子壓縮,得到句子的縮寫,然后再擴寫,通過這種方法生成的句子和原句子具有相似的結構,但是可能會帶來語義信息的損失。

無監督數據擴增(Unsupervised Data Augmentation):通常的數據增強算法都是為有監督任務服務,這個方法是針對無監督學習任務進行數據增強的算法,UDA方法生成無監督數據與原始無監督數據具備分布的一致性,而以前的方法通常只是應用高斯噪聲和Dropout噪聲(無法保證一致性)。(https://arxiv.org/abs/1904.12848)

此外,這個倉庫(https://github.com/quincyliang/nlp-data-augmentation)中介紹了一些自然語言處理中的數據增強技術。

總結

數據增強是增大數據規模,減輕模型過擬合的有效方法,但是,數據增強不能保證總是有利的。在數據非常有限的域中,這可能導致進一步過度擬合。因此,重要的是要考慮搜索算法來推導增強數據的最佳子集,以便訓練深度學習模型。

雖然相比于計算視覺,自然語言處理領域中的數據增強應用更少,難度也要更大,但是同時也意味著更大的機遇。

審核編輯 :李倩

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 神經網絡
    +關注

    關注

    42

    文章

    4771

    瀏覽量

    100719
  • nlp
    nlp
    +關注

    關注

    1

    文章

    488

    瀏覽量

    22033
  • 計算視覺
    +關注

    關注

    0

    文章

    5

    瀏覽量

    1523

原文標題:一文了解NLP和CV領域的數據增強

文章出處:【微信號:zenRRan,微信公眾號:深度學習自然語言處理】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    傅立葉變換在圖像處理中的作用

    傅里葉變換在圖像處理中發揮著至關重要的作用。以下是傅里葉變換在圖像處理中的幾個主要作用: 一、圖像增強
    的頭像 發表于 12-06 16:55 ?371次閱讀

    【每天學點AI】實戰圖像增強技術在人工智能圖像處理中的應用

    圖像增強(ImageEnhancement)是人工智能和計算機視覺中一項重要的技術,也是人工智能數據集預處理的一個重要步驟。它旨在提高
    的頭像 發表于 11-22 17:14 ?510次閱讀
    【每天學點AI】實戰<b class='flag-5'>圖像</b><b class='flag-5'>增強</b><b class='flag-5'>技術</b>在人工智能<b class='flag-5'>圖像</b><b class='flag-5'>處理</b>中的應用

    傅里葉變換與圖像處理技術的區別

    在數字信號處理圖像分析領域,傅里葉變換和圖像處理技術是兩個核心概念。盡管它們在實際應用中常常交織在一起,但它們在本質上有著明顯的區別。 傅
    的頭像 發表于 11-14 09:30 ?309次閱讀

    基于差分卷積神經網絡的低照度車牌圖像增強網絡

    網絡,將車牌的紋理信息解耦為水平垂直和對角線兩個方向,對不同尺度空間的低照度圖像進行紋理增強。為了避免增強結果局部過曝或低曝,該方法使用YCbCr顏色空間的損失函數來優化模型。
    的頭像 發表于 11-11 10:29 ?181次閱讀
    基于差分卷積神經網絡的低照度車牌<b class='flag-5'>圖像</b><b class='flag-5'>增強</b>網絡

    FPGA在圖像處理領域的優勢有哪些?

    單元和可編程互聯線,可以實現高度并行的數據處理。在圖像處理任務中,如圖像處理、特征提取和圖像
    發表于 10-09 14:36

    圖像采集卡:增強視覺數據采集

    圖像采集卡介紹:在視覺數據采集領域,圖像采集卡在捕獲和處理來自各種來源的圖像或視頻方面發揮著關鍵作用。在本文中,我們將深入探討
    的頭像 發表于 09-24 11:06 ?299次閱讀
    <b class='flag-5'>圖像</b>采集卡:<b class='flag-5'>增強</b>視覺<b class='flag-5'>數據</b>采集

    圖像識別算法的提升有哪些

    方法。 數據增強 數據增強是提高圖像識別算法性能的一種有效
    的頭像 發表于 07-16 11:12 ?641次閱讀

    圖像識別技術包括自然語言處理

    圖像識別技術與自然語言處理是人工智能領域的兩個重要分支,它們在很多方面有著密切的聯系,但也存在一些區別。 一、圖像識別技術與自然語言
    的頭像 發表于 07-16 10:54 ?734次閱讀

    圖像識別技術的原理是什么

    圖像識別技術是一種利用計算機視覺和機器學習技術圖像進行分析和理解的技術。它可以幫助計算機識別和理解圖像
    的頭像 發表于 07-16 10:46 ?914次閱讀

    機器人視覺技術圖像分割方法有哪些

    機器人視覺技術是人工智能領域的一個重要分支,它涉及到圖像處理、模式識別、機器學習等多個學科。圖像分割是機器人視覺技術中的一個重要環節,它的目
    的頭像 發表于 07-04 11:34 ?935次閱讀

    FPGA設計經驗之圖像處理

    設計基本方法: 1.陣列結構結合流水線處理設計 例如RGB圖像,包括三組數據處理時需要并行三通道后,每個通道進行分別的串行流水
    發表于 06-12 16:26

    榮耀終端有限公司“圖像處理方法及裝置”專利公布

    榮耀終端有限公司已獲批“圖像處理方法及裝置”專利,該項技術主要運用于電子設備領域,旨在解決傳統成像存在的圖像質量缺陷,提升用戶視覺體驗。
    的頭像 發表于 05-23 09:46 ?377次閱讀
    榮耀終端有限公司“<b class='flag-5'>圖像</b><b class='flag-5'>處理</b><b class='flag-5'>方法</b>及裝置”專利公布

    基于TOF深度相機的圖像處理專利獲授權

    該專利主要涉及圖像處理技術領域,特別是針對基于TOF深度相機的圖像處理方法和存儲媒介進行了深入研
    的頭像 發表于 04-15 10:04 ?406次閱讀
    基于TOF深度相機的<b class='flag-5'>圖像</b><b class='flag-5'>處理</b>專利獲授權

    基于圖像處理技術的螺紋幾何參數測量系統設計

    摘要:針對螺紋幾何參數測量過程中,傳統人工測量效率低、儀器昂貴、耗時費力、偶伴有人為誤差等不足。本研究采用非接觸測量的方法, 利用計算機視覺的圖像處理技術,通過系統標定、
    的頭像 發表于 01-15 11:13 ?863次閱讀
    基于<b class='flag-5'>圖像</b><b class='flag-5'>處理</b><b class='flag-5'>技術</b>的螺紋幾何參數測量系統設計

    FPGA圖像處理之CLAHE算法

    在FPGA圖像處理--CLAHE算法(一)中介紹了為啥要用CLAHE算法來做圖像增強
    的頭像 發表于 01-04 12:23 ?2507次閱讀
    FPGA<b class='flag-5'>圖像</b><b class='flag-5'>處理</b>之CLAHE算法
    主站蜘蛛池模板: 亚洲视频网站欧美视频网站| 中文字幕人妻无码系列第三区| 一级做a爰片久久毛片一| 99国产这里只有精品视频| 动漫美女禁区| 久久成人无码国产免费播放| 欧美日韩亚洲成人| 亚洲精品偷拍影视在线观看| 97国产露脸精品国产麻豆| 国产精品免费观看视频播放| 老湿影院色情a| 性饥渴姓交HDSEX| a4you销魂gogo人体| 黄色小说在线| 色午夜日本高清视频www| 综合色就爱涩涩涩综合婷婷| 国产精品99久久久久久动态图| 久久亚洲视频| 迅雷哥在线观看高清| chinesetoilet美女沟| 混乱家庭电影完整版在线看| 全黄h全肉短篇禁乱np| 永久精品视频无码一区| 高清国语自产拍在线| 快播在线电影网站| 亚洲国产成人私人影院| 成人在线视频免费| 麻豆高清免费国产一区| 亚洲精品视频免费| 国产99久久久国产精品免费看| 美女脱了内裤张开腿让男人桶到爽 | 美女岔开腿露出粉嫩花苞| 无套内射CHINESEHD熟女| 99热6精品视频6| 久久精品AV一区二区无码| 无码区国产区在线播放| 阿娇和冠希13分钟在线观看| 久久伊人电影| 亚洲人交性视频| 国产区免费在线观看| 日本最新在线不卡免费视频|