色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

對比學習中的4種典型范式的應用分析

深度學習自然語言處理 ? 來源:圓圓的算法筆記 ? 作者:Fareise ? 2022-07-08 11:03 ? 次閱讀

對比學習是無監(jiān)督表示學習中一種非常有效的方法,核心思路是訓練query和key的Encoder,讓這個Encoder對相匹配的query和key生成的編碼距離接近,不匹配的編碼距離遠。想讓對比學習效果好,一個核心點是擴大對比樣本(負樣本)的數(shù)量,即每次更新梯度時,query見到的不匹配key的數(shù)量。負樣本數(shù)量越多,越接近對比學習的實際目標,即query和所有不匹配的key都距離遠。

對比學習目前有4種最典型的范式,分別為End-to-End、Memory Bank、Momentum Encoder以及In-Batch Negtive。這幾種對比學習結構的差異主要體現(xiàn)在對負樣本的處理上,4種方法是一種逐漸演進的關系。下面,我們來看看4種對比學習結構的經(jīng)典工作。關于對比學習的損失函數(shù),建議參考之前的文章表示學習中的7大損失函數(shù)梳理。

End-to-End End-to-End是一種最直接的對比學習方法,對于一個query,每次采樣一個正樣本以及多個負樣本,使用對比學習loss計算損失,正樣本和負樣本都進行梯度反向傳播。下面介紹幾篇End-to-End的對比學習經(jīng)典論文。

第一篇是Unsupervised Embedding Learning via Invariant and Spreading Instance Feature(2019)。本文的目標是學習圖像好的表示,滿足相似的圖像embedding離得近,不相似的圖像embedding離得遠的特點。具體的,希望同一個圖像經(jīng)過不同的數(shù)據(jù)增強方式進行轉換后,能夠具有embedding的不變性,同時不同圖像的embedding有明顯差異。

這篇文章在原來每個樣本為一個類別的分類基礎上進行了優(yōu)化,將每個圖像進行一種數(shù)據(jù)增強的轉換后,去讓轉換前后的圖像的embedding離得更近。首先采樣一個batch的圖像,然后對每一個圖像使用一種數(shù)據(jù)增強方法進行轉換。優(yōu)化的目標是讓每一個圖像xi轉換后的圖像xi‘能夠被分為xi這個樣本的類別。模型的訓練仍然采用多個二分類的方式,每個樣本的loss可以表示為:

最終采用底層共享參數(shù)的孿生網(wǎng)絡結構進行模型訓練。在訓練階段,每個樣本的會使用該batch內其他樣本作為負樣本進行訓練,并使用一種隨機的argumentation策略生成一個正樣本。

LEARNING DEEP REPRESENTATIONS BY MUTUAL INFORMATION ESTIMATION AND MAXIMIZATION(ICLR 2019,DIM)是另一個典型的End-to-End對比學習框架。本文提出在Deep InfoMax基礎上進行對比學習,首先介紹一下Deep InfoMax。Deep InfoMax是一種無監(jiān)督圖像表示學習方法,目標是讓輸入樣本和其經(jīng)過Encoder后的表示互信息最大,互信息越大表明兩個變量相關性越強,互信息可以采用InfoNCE、Jensen-Shannon MI estimator等方法求解。

具體實現(xiàn)上,隨機采樣一個圖像,經(jīng)過卷積得到feature map f(x),再經(jīng)過網(wǎng)絡得到一個圖像的表示向量h(f(x)),整個過程相當于取了整個encoder中某一層的表示f(x),以及encoder的最終輸出h(f(x)),讓這兩個表示的互信息盡可能大。同時隨機選擇其他圖像,生成其feature map f(x’)。這樣f(x)和h(f(x))構成正樣本,f(x‘)和h(f(x))構成負樣本,再代入loss進行優(yōu)化。基本思路采用了MINE的方法,去求一個下界。使用一個discriminator去判別輸入是配對的feature map和representaion的聯(lián)合概率分布還是不配對的feature map和representaion的邊緣概率分布的乘積。

最終學習的是中間表示中某一個部分的信息和最終encoder得到feature的相關性,互信息可以理解為在是否獲取encoder最終表示的情況下,我們能預測出的中間層某部分的表示會好多少。這是使用相對的預估能力而非絕對的預估能力進行評估。

Learning Representations by Maximizing Mutual Information Across Views(2019)擴展了DIM,學習一個圖像的兩種不同增強方式的互信息最小。DIM使用同一張圖像最終層和中間層的表示計算互信息,而本文采用一個圖像的不同增強后的view計算。

End-to-End方法的主要問題在于,采樣的負樣本數(shù)量受到GPU內存限制,因此這種方法的每次更新能夠使用到的負樣本數(shù)量非常有限,影響了對比學習效果。 Memory Bank 針對End-to-End負樣本采樣數(shù)量受GPU內存限制的問題,基于Memory Bank的方法進入人們視野。Memory Bank的核心思路是,將某一輪模型對數(shù)據(jù)集中所有樣本的表示存儲起來,這些樣本在作為負樣本時,可以不進行梯度更新,極大提升了每個batch負樣本數(shù)量。

Memory Bank對比學習的主要論文是Unsupervised feature learning via non-parametric instance discrimination(ICLR 2018)。當進行圖像分類時,如果兩個類別的圖像相似,那么模型更容易把這兩類的預測搞混,softmax得分排第二的的類別往往是和待預測類別比較相似的。這說明模型在學習的過程中,能夠從圖像數(shù)據(jù)本身學出哪些圖片表達相似的事物,而不需要引入標簽。因此本文希望只利用無監(jiān)督的圖片,就學習出比較好的圖像表示,將原來的分類問題進行一個擴展,每個圖片視為一個類別,做多分類任務,這樣無需有監(jiān)督數(shù)據(jù)就能學習圖像表示。同時,將softmax中每個類別對應的權重替換為每個樣本的embedding結果,將原來的softmax去掉每個類別的權重參數(shù)w后變?yōu)榱?non-parametric softmax,最終表示為:

然而一個圖像為一個類別帶來的問題是計算softmax多分類損失時,分類的類別數(shù)和樣本數(shù)相同。因此本文提出利用InfoNCE loss來近似擬合softmax多分類損失,它與層次softmax、negative sampling都是解決類別較多時多分為問題的高效方法。InfoNCE loss將多分類問題轉換為多個二分類問題,原來是預測當前樣本屬于哪個類別,轉換成判斷每個樣本(一個正樣本和多個負樣本)是否和當前樣本匹配,或區(qū)分數(shù)據(jù)樣本和噪聲樣本。 為了提升運行效率,本文采用Model Bank的方法,每個樣本的表示更新后會存儲到model bank中。下次需要負樣本的時候直接從model bank取該樣本表示,而不會進行前向計算和反向傳播。每個類別只有一個樣本會導致模型訓練不穩(wěn)定,因此本文在損失函數(shù)中引入平滑項,讓模型在t輪迭代計算的表示和t-1輪相似,引入兩輪表示的L2正則。隨著模型不斷收斂,這一項L2正則會逐漸變?yōu)?,整體又變成原來的InfoNCE loss。

Model Bank方法的問題在于,Model Bank中存儲的樣本表示不是最新訓練的encoder產(chǎn)出的,和當前encoder生成的表示有一定差異,導致模型訓練過程存在問題,例如當前encoder產(chǎn)出的編碼可能要和n輪迭代之前產(chǎn)出的encoder編碼做比較。同時,Model Bank側兩次樣本表示更新不具備連續(xù)性,也會導致訓練不穩(wěn)定 Momentum Encoder Momentum Encoder主要為了解決Model Bank中每個樣本緩存的表示和Encoder更新不一致的問題。Momentum Encoder的核心思路是,模型在key側的encoder不進行訓練,而是平滑拷貝query側encoder的參數(shù),如下面的公式:

這種更新方式保證了key側參數(shù)的平滑性,且每次都能用最新的參數(shù)得到key側樣本的表示結果。典型的Momentum Encoder工作是Facebook提出的MoCo,論文Momentum Contrast for Unsupervised Visual Representation Learning。

In-Batch Negtive In-Batch Negtive也是對比學習中經(jīng)常采用的一種擴大負樣本數(shù)量的方法。對于匹配問題,假設每個batch內有N個正樣本對,那么讓這N個正樣本之間互為負樣本,這樣每個樣本就自動生成了2*(N-1)個負樣本。這種技巧提出的很早,在近期對比學習中又得到非常廣泛的應用。

A Simple Framework for Contrastive Learning of Visual Representations(2020)就采用了In-Btahc Negtive的方法。此外,本文也提出了對比學習的一些關鍵發(fā)現(xiàn),包括對數(shù)據(jù)的argumentation的方式、batch size的大小、生成的embedding進行normalize、對對比學習loss的temperature進行調節(jié)都對對比學習效果有重要影響。融合了上述優(yōu)化,本文提出SimCLR對比學習框架,以最大化同一個圖像經(jīng)過不同argumentation后表示的相關性為目標。整個流程分為3個步驟,首先對圖像進行兩種不同的增強得到一對正樣本,然后經(jīng)過Encoder得到表示,最后將表示映射后計算對比學習loss,采用In-Batch Negtive的方法進行學習。

在圖像和文本匹配的多模態(tài)領域,In-Batch Negtive也非常常用,例如Learning Transferable Visual Models From Natural Language Supervision提出的CLIP模型。In-Batch Negtive的優(yōu)點是非常簡單,計算量不會顯著增加。缺點是負樣本只能使用每個batch內的數(shù)據(jù),是隨機采樣的,無法針對性的構造負樣本。

總結 本文總結了對比學習的4種基本訓練結構,包括End-to-End、Memory Bank、Momentum Encoder以及In-Batch Negtive,以及各自的優(yōu)缺點。對比學習訓練方式發(fā)展的核心是,如何實現(xiàn)量級更大、質量更好、更平穩(wěn)的負樣本表示。通過優(yōu)化負樣本,可以顯著提升對比學習的效果。 審核編輯:郭婷

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權轉載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • gpu
    gpu
    +關注

    關注

    28

    文章

    4729

    瀏覽量

    128901
  • 編碼
    +關注

    關注

    6

    文章

    942

    瀏覽量

    54815

原文標題:對比學習中的4種經(jīng)典訓練模式

文章出處:【微信號:zenRRan,微信公眾號:深度學習自然語言處理】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    zeta在機器學習的應用 zeta的優(yōu)缺點分析

    在探討ZETA在機器學習的應用以及ZETA的優(yōu)缺點時,需要明確的是,ZETA一詞在不同領域可能有不同的含義和應用。以下是根據(jù)不同領域的ZETA進行的分析: 一、ZETA在機器學習
    的頭像 發(fā)表于 12-20 09:11 ?191次閱讀

    RoCE與IB對比分析(二):功能應用篇

    在上一篇,我們對RoCE、IB的協(xié)議棧層級進行了詳細的對比分析,二者本質沒有不同,但基于實際應用的考量,RoCE在開放性、成本方面更勝一籌。本文我們將繼續(xù)分析RoCE和IB在擁塞控制、QoS、ECMP三個關鍵功能
    的頭像 發(fā)表于 11-15 14:03 ?258次閱讀
    RoCE與IB<b class='flag-5'>對比分析</b>(二):功能應用篇

    NPU在深度學習的應用

    設計的硬件加速器,它在深度學習的應用日益廣泛。 1. NPU的基本概念 NPU是一專門針對深度學習算法優(yōu)化的處理器,它與傳統(tǒng)的CPU和GPU有所不同。NPU通常具有高度并行的處理能
    的頭像 發(fā)表于 11-14 15:17 ?521次閱讀

    網(wǎng)關和路由器的對比分析

    網(wǎng)關和路由器作為計算機網(wǎng)絡的關鍵設備,各自承擔著不同的角色和功能。下面將從定義、功能、應用場景、性能等多個方面對網(wǎng)關和路由器進行對比分析
    的頭像 發(fā)表于 08-27 10:20 ?1141次閱讀

    工業(yè)電機驅動器典型短路事件

    驅動器的三典型短路事件:逆變器直通、相對相短路以及相線對地短路,并對每種事件的原因、影響及應對措施進行詳細分析
    的頭像 發(fā)表于 07-25 10:45 ?853次閱讀

    深度學習的無監(jiān)督學習方法綜述

    應用往往難以實現(xiàn)。因此,無監(jiān)督學習在深度學習扮演著越來越重要的角色。本文旨在綜述深度學習
    的頭像 發(fā)表于 07-09 10:50 ?688次閱讀

    深度學習典型模型和訓練過程

    深度學習作為人工智能領域的一個重要分支,近年來在圖像識別、語音識別、自然語言處理等多個領域取得了顯著進展。其核心在于通過構建復雜的神經(jīng)網(wǎng)絡模型,從大規(guī)模數(shù)據(jù)自動學習并提取特征,進而實現(xiàn)高效準確的預測和分類。本文將深入解讀深度
    的頭像 發(fā)表于 07-03 16:06 ?1427次閱讀

    機器學習在數(shù)據(jù)分析的應用

    隨著大數(shù)據(jù)時代的到來,數(shù)據(jù)量的爆炸性增長對數(shù)據(jù)分析提出了更高的要求。機器學習作為一強大的工具,通過訓練模型從數(shù)據(jù)中學習規(guī)律,為企業(yè)和組織提供了更高效、更準確的數(shù)據(jù)
    的頭像 發(fā)表于 07-02 11:22 ?614次閱讀

    深度學習與傳統(tǒng)機器學習對比

    在人工智能的浪潮,機器學習和深度學習無疑是兩大核心驅動力。它們各自以其獨特的方式推動著技術的進步,為眾多領域帶來了革命性的變化。然而,盡管它們都屬于機器學習的范疇,但深度
    的頭像 發(fā)表于 07-01 11:40 ?1335次閱讀

    交流伺服電機與直流伺服電機的對比分析

    伺服電機作為現(xiàn)代工業(yè)自動化領域的核心動力元件,廣泛應用于各種高精度、高效率的運動控制系統(tǒng)。其中,交流伺服電機和直流伺服電機作為兩主要的伺服電機類型,各有其獨特的工作原理、性能特點和應用場景。本文將對這兩伺服電機進行詳細的
    的頭像 發(fā)表于 06-24 14:40 ?849次閱讀

    不同地物分類方法在長江中下游典型湖區(qū)應用對比分析

    以龍感湖自然保護區(qū)、華陽河湖群自然保護區(qū)作為研究區(qū),以高分一號WFV作為數(shù)據(jù)源,采用6不同地物分類方法進行地物分類,從空間和精度方面對試驗結果進行對比分析,探討地物分類效果,以選擇出適用于研究區(qū)地物特征提取的有效分類方法。
    的頭像 發(fā)表于 05-31 11:03 ?337次閱讀
    不同地物分類方法在長江中下游<b class='flag-5'>典型</b>湖區(qū)應用<b class='flag-5'>對比分析</b>

    網(wǎng)絡分離器與網(wǎng)絡交換機的對比

    網(wǎng)絡分離器和網(wǎng)絡交換機是兩不同的網(wǎng)絡設備,它們在網(wǎng)絡架構扮演著不同的角色。本文將對這兩設備進行詳盡的對比分析
    的頭像 發(fā)表于 05-23 16:11 ?592次閱讀

    4芯M16接頭不同類型的對比分析

      德索工程師說道4芯M16接頭是電子設備中常見的連接器之一,它具備四個引腳和M16的螺紋接口,通常用于傳輸信號、電源和數(shù)據(jù)。在市場上,存在多種不同類型的4芯M16接頭,每種類型都有其獨特的特點和適用場景。以下將對幾種常見的4
    的頭像 發(fā)表于 05-15 18:27 ?458次閱讀
    <b class='flag-5'>4</b>芯M16接頭不同類型的<b class='flag-5'>對比分析</b>

    火電廠凝汽器不停車在線清洗與凝汽器停車清洗八技術對比分析

    通過凝汽器結垢對發(fā)電機組運行安全性和經(jīng)濟性的影響分析,以及對火電行業(yè)現(xiàn)有凝汽器清洗技術的優(yōu)劣對比介紹,并通過火電廠凝汽器在線化學清洗技術案例,對清洗前后凝汽器運行性能數(shù)據(jù)進行了對比分析,說明凝汽器在線化學清洗技術在火電行業(yè)具有推
    的頭像 發(fā)表于 03-21 19:57 ?462次閱讀
    火電廠凝汽器不停車在線清洗與凝汽器停車清洗八<b class='flag-5'>種</b>技術<b class='flag-5'>對比分析</b>

    分析對比NTC、PTC、TVS、MOV的不同

    是對它們的詳細分析和比較。 1. NTC(負溫度系數(shù)熱敏電阻) NTC是一電阻器,其電阻值隨溫度變化而變化。與溫度相關的電阻值變化可以通過負溫度系數(shù)進行描述,即電阻值隨溫度升高而下降。NTC在電路通常用作溫度測量或溫度補償?shù)?/div>
    的頭像 發(fā)表于 01-03 13:54 ?1227次閱讀
    主站蜘蛛池模板: 有人在线观看的视频吗免费| 真实农村女人野外自拍照片| 在线va无卡无码高清| 97超视频在线观看| 国产精品久久久久精品A片软件| 极品网红液液酱粉嫩福利照子凌酱| 美女医生深夜在家裸睡惨死| 色一情一乱一伦一区二区三区| 亚洲午夜精品A片久久WWW解说| va亚洲va天堂va视频在线| 国内精品九九视频| 欧美互交人妖247| 亚洲伊人久久大香线蕉综合图片| WWW国产亚洲精品久久麻豆| 狠狠插狠狠干| 日产亚洲一区二区三区| 樱花之恋动漫免费观看| 高H黄暴NP辣H一女多男| 久久全国免费观看视频| 我半夜摸妺妺的奶C了她软件| 中文在线无码高潮潮喷在线| 国产精品人妻99一区二| 嫩草成人影院| 亚洲一区乱码电影在线| 动漫美女被吸奶| 美女胸被男子强捏视频| 亚洲精品色播一区二区| 成人动漫bt种子| 久久人妻AV一区二区软件| 午夜久久影院| 成年女人免费影院播放| 看80后操| 亚洲免费黄色| 国产精品久久久久久久久久免费 | 国产成人精品系列在线观看| 蜜臀AV久久国产午夜福利软件| 亚洲精品国产第一区第二区| 国产不卡免费| 欧美最猛性XXX孕妇| 2020亚洲国产在线播放在线| 精品久久久久中文字幕加勒比东京热|