色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

基于k近鄰與高斯噪聲的虛擬困難樣本增強方法

深度學(xué)習自然語言處理 ? 來源:YeungNLP ? 作者:荷風微擺 ? 2022-05-12 11:31 ? 次閱讀

在本文中,我們將介紹亞馬遜團隊在ACL2022中的一篇論文VaSCL,該論文在SimCSE的基礎(chǔ)上,提出了一種基于k近鄰與高斯噪聲的虛擬困難樣本增強方法。作者在無監(jiān)督訓(xùn)練中,進行困難樣本增強,從而提高了模型的性能,并且超過了SimCSE。

6338e638-d19e-11ec-bce3-dac502259ad0.png

論文標題:

Virtual Augmentation Supported Contrastive Learning of Sentence Representations

論文鏈接:

https://arxiv.org/abs/2110.08552

01

引言

在ACL2021中,陳丹琦團隊提出了使用Dropout進行正樣本增強的對比學(xué)習方法SimCSE,該方法操作簡單卻十分有效,在無監(jiān)督對比學(xué)習中取得了非常好的效果。在有監(jiān)督SimCSE中,作者對困難負樣本的作用進行了探究實驗,實驗結(jié)果證明,引入困難負樣本后,有監(jiān)督SimCSE的指標從84.9提升至86.2。這說明,在對比學(xué)習中,引入困難樣本是能夠提升模型效果的。

然而在無監(jiān)督SimCSE中,作者僅使用dropout的方式進行了正樣本增強,沒有額外引入困難樣本,這在一定程度上限制了模型的能力。基于這個動機,亞馬遜提出了一種基于k近鄰與高斯噪聲的虛擬困難樣本增強的無監(jiān)督對比學(xué)習方法VaSCL。

02

論文解讀

基于Dropout的對比損失

在介紹VaSCL模型之前,我們先簡單回顧一下無監(jiān)督SimCSE。假設(shè)訓(xùn)練時的batch size為N,將一個batch的數(shù)據(jù)記作,將同一個樣本分別輸入模型中兩次,使用不同的dropout mask編碼得到兩個向量和。則在規(guī)模為N的batch中,與的InfoNCE損失為:

基于k近鄰的虛擬增強對比損失

在無監(jiān)督SimCSE的損失函數(shù)的基礎(chǔ)上,作者還設(shè)計了一種基于k近鄰的虛擬困難樣本增強的損失函數(shù)。

將通過模型編碼之后得到向量序列。

作者通過以下方式獲得第i個句向量的虛擬困難樣本:

正樣本增強:對添加高斯噪聲,得到,其中就是經(jīng)過高斯增強后的正樣本。

獲得k近鄰:獲得在中距離最近的k個負樣本,在本文中我們稱之為k近鄰,記作。

對于來說,是正樣本,是負樣本集合。則對于,k近鄰虛擬增強的對比損失如下。分子表示拉近與的距離,分母表示拉遠與負樣本之間的距離。

在CV中,我們會為輸入的圖片添加高斯噪聲以增加模型的泛化性。添加了高斯噪聲的圖片,肉眼能看出微小的區(qū)別,但不會影響整張圖片的語義信息。所以為句向量添加合適的高斯噪聲,理論上也不會對句向量的語義信息產(chǎn)生很大的改變。

在的k近鄰中,存放的是距離最近的k個負樣本,也就是與最相似的k個負樣本。只要batch size足夠大,我們可以近似認為,就是的困難負樣本集合,同樣也是的困難負樣本集合。

如何獲得上述的高斯噪聲呢?最容易想到的做法便是隨機生成一個高斯噪聲,直接添加到句向量中。但是為了提高模型的訓(xùn)練難度,生成更高質(zhì)量的高斯噪聲,作者生成若干個候選高斯噪聲,然后選出一個使得最大化的高斯噪聲。

從上述操作可以看出,對于最優(yōu)的高斯噪聲,作者希望它增強后的正樣本與的距離盡可能遠,與負樣本的距離盡可能近,作者希望這個高斯噪聲能夠?qū)δP彤a(chǎn)生盡可能大的迷惑性。通過這個高斯噪聲,我們就可以得到困難正樣本,并且從某種意義來說,也使得與的距離盡可能拉近,達到了增強負樣本難度的目的,做法確實挺巧妙。

VaSCL對比損失

63676d46-d19e-11ec-bce3-dac502259ad0.png

將上述兩種對比損失進行組合,得到最終的VaSCL損失函數(shù):

這個損失函數(shù)的含義如下:

對于每個句子,拉近同一個句子經(jīng)過dropout之后的兩個句向量之間的距離,拉遠它們與其他句子的距離。

對于每個句子,拉近原句向量與高斯噪聲增強之后的句向量的距離,拉遠它們與k近鄰負樣本之間的距離。

03

實驗結(jié)果

作者分別在STS任務(wù)、短文本聚類、意圖識別等任務(wù)中進行了實驗,實驗結(jié)果如下表所示。可以看到,在三種任務(wù)中,絕大部分數(shù)據(jù)集上,VaSCL的表現(xiàn)都要優(yōu)于SimCSE,這表明了基于k近鄰與高斯噪聲的困難樣本增強的有效性。

6385a8ce-d19e-11ec-bce3-dac502259ad0.png

63c1165c-d19e-11ec-bce3-dac502259ad0.png

63d37914-d19e-11ec-bce3-dac502259ad0.png

04

總結(jié)

SimCSE通過dropout mask這種簡單的方法,避免了人工進行正樣本增強所帶來的語義改變的問題,并且在無監(jiān)督訓(xùn)練中取得了不錯的效果。而VaSCL論文延續(xù)了SimCSE這種思想,引入了高斯噪聲進行正樣本增強,有著異曲同工之妙。

VaSCL在SimCSE的基礎(chǔ)上,也進行了困難樣本的增強。在進行高斯噪聲增強時,使得增強的樣本與原始樣本盡可能不相似,與負樣本盡可能相似,已達到【混淆視聽】的效果。通過這種方式,VaSCL在絕大多數(shù)據(jù)集上的表現(xiàn),也超過了SimCSE。

審核編輯 :李倩

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 噪聲
    +關(guān)注

    關(guān)注

    13

    文章

    1121

    瀏覽量

    47400
  • 函數(shù)
    +關(guān)注

    關(guān)注

    3

    文章

    4329

    瀏覽量

    62575
  • 模型
    +關(guān)注

    關(guān)注

    1

    文章

    3229

    瀏覽量

    48812

原文標題:ACL'22 | VaSCL:基于k近鄰與高斯噪聲的困難樣本增強的對比學(xué)習方法,超越SimCSE

文章出處:【微信號:zenRRan,微信公眾號:深度學(xué)習自然語言處理】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏

    評論

    相關(guān)推薦

    圖像高斯濾波的原理及FPGA實現(xiàn)思路

    (Gaussian Blur),是一種高斯低通濾波。通常這個算法也可以用來模糊圖像,提供模糊濾鏡。也可以用來過濾自然界的高斯噪聲高斯分布(正態(tài)分布)是一個常見的連續(xù)概率分布,正態(tài)
    的頭像 發(fā)表于 12-07 09:12 ?245次閱讀
    圖像<b class='flag-5'>高斯</b>濾波的原理及FPGA實現(xiàn)思路

    高斯濾波和均值濾波的區(qū)別

    高斯濾波和均值濾波在圖像處理中都是常用的平滑濾波方法,但它們之間存在一些關(guān)鍵的區(qū)別。以下是兩者之間的主要區(qū)別: 1. 濾波原理 高斯濾波 : 是一種線性平滑濾波,它使用高斯函數(shù)來計算卷
    的頭像 發(fā)表于 09-29 09:40 ?631次閱讀

    高斯濾波和雙邊濾波的區(qū)別

    高斯濾波和雙邊濾波在圖像處理中都是常用的平滑濾波技術(shù),但它們之間存在一些顯著的區(qū)別。以下是兩者之間的主要區(qū)別: 一、基本原理 高斯濾波 : 是一種線性平滑濾波,適用于消除高斯噪聲。 其
    的頭像 發(fā)表于 09-29 09:37 ?398次閱讀

    高斯濾波的特點有哪些

    、背景)則相對保留。這種平滑處理有助于去除圖像中的噪聲,改善圖像質(zhì)量。 邊緣保留 : 與其他平滑濾波方法相比,高斯濾波在平滑圖像的同時能夠較好地保留圖像的邊緣信息。這是因為高斯濾波的權(quán)
    的頭像 發(fā)表于 09-29 09:36 ?305次閱讀

    高斯卷積核函數(shù)在圖像采樣中的意義

    。這種平滑處理通過減小圖像中像素之間的差異來模糊圖像,有助于去除圖像中的高頻噪聲和細節(jié)紋理,使圖像看起來更加平滑。 去噪效果 :在圖像的采集或傳輸過程中,往往會受到各種噪聲的干擾。高斯卷積核函數(shù)能夠通過平滑處理有效地抑
    的頭像 發(fā)表于 09-29 09:33 ?397次閱讀

    高斯濾波的基本原理有哪些

    高斯濾波的基本原理可以從以下幾個方面進行闡述: 一、定義與性質(zhì) 定義 :高斯濾波(Gaussian Filter)是一種常見的圖像處理技術(shù),實質(zhì)上是一種信號的濾波器,用于平滑和降噪圖像。它采用高斯
    的頭像 發(fā)表于 09-29 09:27 ?501次閱讀

    增強現(xiàn)實和虛擬現(xiàn)實的聯(lián)系和區(qū)別

    增強現(xiàn)實(AR)和虛擬現(xiàn)實(VR)是兩種不同的技術(shù),它們在許多方面都有聯(lián)系和區(qū)別。 一、增強現(xiàn)實(AR)和虛擬現(xiàn)實(VR)的定義 增強現(xiàn)實(
    的頭像 發(fā)表于 07-08 11:00 ?2261次閱讀

    增強現(xiàn)實技術(shù)(AR)和虛擬現(xiàn)實技術(shù)(VR)的區(qū)別?

    增強現(xiàn)實技術(shù)(AR)和虛擬現(xiàn)實技術(shù)(VR)是兩種不同的技術(shù),它們在許多方面都有明顯的區(qū)別。以下是對這兩種技術(shù)的介紹和比較。 定義 增強現(xiàn)實技術(shù)(AR)是一種將虛擬信息疊加到現(xiàn)實世界中的
    的頭像 發(fā)表于 07-04 11:40 ?1157次閱讀

    labview能不能對采集的聲音信號進行高斯噪聲信號分析

    請問對采集到的聲音信號進行高斯加噪分析,能不能對聲音信號直接加上高斯噪聲信號?
    發(fā)表于 05-27 15:18

    什么是高斯光束

    圖1:高斯光束和平頂光束在相同的光功率下,顯示高斯光束的峰值強度是平頂光束的兩倍 大多數(shù)激光束都是高斯光束,盡管在某些情況下,具有非高斯輻照度分布是有益的。隨著離激光束橫截面中心的距離
    的頭像 發(fā)表于 04-11 06:32 ?1066次閱讀
    什么是<b class='flag-5'>高斯</b>光束

    噪聲的測量方法

    有效的方法,本期介紹噪聲的測量方法。 常見觀測噪聲的設(shè)備為示波器,而示波器在正確操作使用下測量精度為3%,且本身存在底噪。搭配不同的探頭使用,觀測到的
    的頭像 發(fā)表于 04-10 15:16 ?1094次閱讀
    <b class='flag-5'>噪聲</b>的測量<b class='flag-5'>方法</b>

    基于FIR濾波器的帶限白噪聲的設(shè)計方案實現(xiàn)

    高斯噪聲:是一種隨機噪聲,其時域內(nèi)的信號幅度的統(tǒng)計規(guī)律服從高斯分布。
    的頭像 發(fā)表于 04-09 09:08 ?1137次閱讀
    基于FIR濾波器的帶限白<b class='flag-5'>噪聲</b>的設(shè)計方案實現(xiàn)

    什么是相位噪聲 產(chǎn)生相位噪聲的原因 相位噪聲的表示方法及影響

    什么是相位噪聲 產(chǎn)生相位噪聲的原因 相位噪聲的表示方法 相位噪聲的影響 測量相位噪聲的常用
    的頭像 發(fā)表于 01-31 09:28 ?3253次閱讀

    同軸線測電源噪聲的測試方法

    在電子設(shè)備測試中,電源噪聲測試是一項非常重要的工作。而同軸線測電源噪聲測試方法是一種常用且有效的測試手段。本文將對同軸線測電源噪聲測試方法
    的頭像 發(fā)表于 01-11 10:53 ?798次閱讀
    同軸線測電源<b class='flag-5'>噪聲</b>的測試<b class='flag-5'>方法</b>

    虛擬現(xiàn)實與增強現(xiàn)實含義是什么

    虛擬現(xiàn)實(Virtual Reality,簡稱VR)和增強現(xiàn)實(Augmented Reality,簡稱AR)是近年來科技領(lǐng)域的熱門話題,它們?yōu)槿藗儙砹巳碌慕换ンw驗和生活方式。本文將對虛擬
    的頭像 發(fā)表于 12-30 10:37 ?8995次閱讀
    主站蜘蛛池模板: 亚洲AV无码国产精品色午夜情| 国产成人精品综合在线| 久久成人a毛片免费观看网站| 丝袜美女被艹| 憋尿调教绝望之岛| 欧美videos人牛交| 97人妻精品全国免费视频| 久久精品热在线观看30| 一本久道视频无线视频| 精品国产乱码久久久久乱码 | 欧美视频精品一区二区三区| 在线中文字幕| 久久久久综合网久久| 一本道色综合手机久久| 极品网红液液酱粉嫩福利照子凌酱| 性生大片免费看| 国产精品无码亚洲区艳妇| 王小军怎么了最新消息| 国产成人无码AV麻豆| 神马影院午夜伦理限级| 嘟嘟嘟在线视频免费观看高清中文| 日本高清天码一区在线播放| www.精品久久| 人妻夜夜爽99麻豆AV| 大学生第一次破苞疼哭了| 日韩黄色免费| 高清撒尿hdtube撒尿| 色欲色香天天天综合| 国产白丝精品爽爽久久久久久蜜臀| 日韩中文字幕欧美在线视频| 俄罗斯videosbest8| 天天噜日日噜夜夜噜| 国产精品一区二区欧美视频| 午夜dj影院视频观看| 国产系列视频二区| 亚洲精品久久久无码| 饥渴难耐的浪荡艳妇在线观看| 亚洲综合香蕉在线视频| 久久观看视频| 26uuu老色哥| 欧美大片免费|