色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

一種新穎的標簽驅動去噪框架(LDF)

深度學習自然語言處理 ? 來源:南大NLP ? 作者:趙飛、沈禹辰 ? 2022-11-01 10:35 ? 次閱讀

01

研究動機

方面類別檢測(簡稱ACD)是細粒度情感分析的一個重要子任務,旨在從一組預定義的方面類別中檢測出評論句子中提到的方面類別。例如,給定句子”雖然房間很貴,但是服務很好.”,ACD 的任務是從句子中識別出兩個方面類別,即”服務”和”價格”。顯然,ACD 屬于多標簽分類問題。

最近,隨著深度學習的發展,研究者們提出了大量用于 ACD 任務的神經網絡模型[1, 2, 3]。所有這些模型的性能在很大程度上依賴于足夠的標記數據。但是,ACD 任務中方面類別的注釋非常昂貴。有限的標記數據嚴重限制了神經網絡模型的有效性。為了緩解這個問題,Hu等人[4]參考了小樣本學習 (FSL) 的思路[5, 6,7 ,8],將 ACD任務形式化為小樣本學習問題 (FS-ACD),即使用少量的監督數據來判評論句子所屬的方面類別。

表1: 3-way 2-shot 元任務的示例

810bab8e-591e-11ed-a3b6-dac502259ad0.png

FS-ACD 遵循元學習范式[9],構建了一個 N-way K-shot 的元任務集合。表1顯示了一個 3-way 2-shot 的元任務,它由一個支持集和一個查詢集組成。支持集隨機采樣三個類(即方面類別),每個類隨機選擇兩個句子(即實例)。元任務旨在借助少量標記的支持集來推斷查詢集中句子所屬的方面類別。

通過在訓練階段對不同的元任務進行采樣,FS-ACD 可以在少樣本場景中學習到很好的泛化能力,并且在測試階段表現良好。為了執行 FS-ACD 任務,Hu等人[4]提出了一個基于注意力的原型網絡Proto-AWATT。它首先利用注意力機制從支持集中的方面類別對應的句子中提取關鍵字,然后將它們聚合為證據為每個方面類別生成一個原型。

然后,查詢集利用原型生成相應的查詢表示。最后,通過測量每個原型表示與相應查詢表示之間的距離來進行類別預測。

盡管取得了很好的效果,但是我們發現噪聲仍然是 FS-ACD 任務的關鍵問題。原因來自兩個方面:一方面,由于缺乏足夠的監督數據,以前的模型很容易捕捉到與當前方面類別無關的噪聲詞,這在很大程度上影響了生成原型的質量。如圖1所示,以方面類別 food_food_meat_burger的原型為例。

我們根據Proto-AWATT 的注意力權重突出顯示其前 10 個單詞。由于缺乏足夠的監督數據,我們觀察到模型傾向于關注那些常見但嘈雜的單詞,例如“a”、“the”、“my”。這些嘈雜的詞無法為每個方面生成具有代表性的原型,從而導致性能打折。另一方面,語義上接近的方面類別通常會產生相似的原型,這些語義接近的原型互為噪音,極大地混淆了分類器。

據統計,數據集中近 25% 的方面類別對具有相似的語義,例如表 1 中的 food_food_meat_burger 和 food_mealtype_lunch。顯然,這些語義相近的方面類別生成的原型會相互干擾并嚴重混淆 FS-ACD的檢測結果。

8119e8ca-591e-11ed-a3b6-dac502259ad0.png

圖1:根據 Proto-AWATT 的注意力權重可視化方面類別 food_food_meat_burger 原型的前 10 個單詞

為了解決上述問題,我們為 FS-ACD 任務提出了一種新穎的標簽驅動去噪框架(LDF)。具體來說,對于第一個問題,方面類別的標簽文本包含豐富的語義描述方面的概念和范圍,例如方面類別restaurant_location的標簽文本“restaurant“和”location”,它們可以幫助注意力機制更好地捕捉與標簽相關的單詞。

因此,我們提出了一種標簽引導的注意力策略來過濾噪聲詞并引導 LDF 產生更好的方面原型。鑒于第二個問題,我們提出了一種有效的標簽加權對比損失,它將支持集的類間關系合并到對比學習函數中,從而擴大了相似原型之間的距離。

02

貢獻

1、據我們所知,我們是第一個利用方面類別的標簽信息來解決FS-ACD任務中噪聲問題的工作;

2、我們提出了一種新穎的標簽驅動去噪框架(LDF),它包含一個標簽引導的注意力策略來過濾嘈雜的單詞并為每個方面生成一個有代表性的原型,以及一個標簽加權的對比損失來避免為語義接近的方面類別生成相似的原型;

3、LDF框架具有良好的兼容性,可以很容易地擴展到現有模型。在這項工作中,我們將其應用于兩個最新的FS-ACD模型,Proto-HATT[8]和Proto-AWATT[4]。三個基準數據集的實驗結果證明了我們框架的優越性。

03

背景

在這項工作中,我們基于 Proto-AWATT[4]和 Proto-HATT[8]模型抽象了一個通用的架構,它們都實現了令人滿意的性能,因此被選為我們工作的基礎。

給定一個包含l個單詞的實例,我們首先通過查找嵌入表將其映射到單詞序列中。然后,我們使用卷積神經網絡(CNN)將單詞序列編碼為上下文表示。接下來,注意力層為實例中的每個單詞分配一個權重。最終實例表示由下式給出:

81367e9a-591e-11ed-a3b6-dac502259ad0.png

之后,我們聚合類n的所有實例表示來生成原型表示:

814ba9aa-591e-11ed-a3b6-dac502259ad0.png

在處理了支持集中的所有類之后,我們得到了N個原型表示。類似地,對于查詢實例,我們首先利用注意力機制生成N個原型特定的查詢表示。之后,我們計算每個原型與對應的原型特定查詢表示之間的歐幾里得距離(ED)。最后,我們對負歐幾里得距離進行歸一化以獲得原型的排名,并使用閾值來選擇方面類別:

815d4d72-591e-11ed-a3b6-dac502259ad0.png

最終的訓練目標是均方誤差(MSE)損失:

817f846e-591e-11ed-a3b6-dac502259ad0.png

04

解決方案

圖 2 展示了 LDF 的整體架構,其中包含兩個組件:標簽引導的注意力策略和標簽加權的對比損失。在標簽信息的幫助下,前者可以更好地關注與方面類別相關的單詞,從而為每個方面生成更準確的原型,后者利用支持集的類間關系避免生成相似的原型。

81975184-591e-11ed-a3b6-dac502259ad0.png

圖2:標簽驅動去噪框架(LDF)的整體架構

3.1 標簽引導的注意力策略

由于缺乏足夠的監督數據,公式1中的注意力權重通常會關注一些與當前類別無關的噪聲詞,導致原型變得不具有代表性。直覺上來說,每個類的標簽文本都包含豐富的語義,可以為捕獲方面類別相關的單詞提供指導。因此,我們利用標簽信息來解決上述問題并提出標簽引導的注意力策略。

具體來說,我們首先計算標簽文本與實例中每個單詞的語義相似度來定位每個類的關鍵詞:

81b92fa2-591e-11ed-a3b6-dac502259ad0.png

在標簽信息的約束下,相似度權重傾向于關注與標簽文本高度相關的少量單詞,這樣可能會忽略其它有信息量的詞。因此,我們將其作為注意力權重的補充,以生成更全面、更準確的注意力權重:

81d4502a-591e-11ed-a3b6-dac502259ad0.png

然后,為了重新獲得注意力分布,注意力權重被重新歸一化為:

81e08c32-591e-11ed-a3b6-dac502259ad0.png

最后,我們將方程1中的注意力權重替換為方程8中新的注意力權重,從而獲得支持集中每個類的代表性原型。

3.2 標簽加權的對比損失

如前所述,語義上接近的方面類別通常會在支持集中生成相似的原型,它們互為噪聲并嚴重混淆分類器。

直觀地說,一種可行且自然的方法是利用有監督對比學習,它可以將不同類別的原型推開如下:

81f3f650-591e-11ed-a3b6-dac502259ad0.png

然而,有監督對比學習并不能很好地解決我們的問題,因為它在負集中平等地對待不同的原型,而我們的目標是鼓勵越相似的原型相距越遠。

例如,“food_food_meat_burger”在語義上比“room_bed”更接近“food_mealtype_lunch”。因此,“food_food_meat_burger”在負集中應該比“room_bed”更遠離“food_mealtype_lunch”。

為了實現這一目標,我們再次利用標簽信息并提出將類間關系合并到有監督的對比學習中,以自適應地區分負集中的相似原型:

8203e90c-591e-11ed-a3b6-dac502259ad0.png

其中 wmn表示負集中不同方面類別之間的 cos 相似度,計算如下:

822317aa-591e-11ed-a3b6-dac502259ad0.png

在標簽加權的對比損失模塊中,最終的損失函數為:

823755d0-591e-11ed-a3b6-dac502259ad0.png

05

實驗

5.1 實驗設置

我們在三個公開的數據集FewAsp(single)、FewAsp(multi)和FewAsp上進行了實驗,它們共享相同的100個方面類別,其中64個方面用于訓練,16個方面用于驗證,20個方面用于測試。我們使用 Macro-F1 和 AUC 分數作為評估指標,并且 5-way 設置和 10-way 設置中的閾值分別設置為0.3和0.2。

為了驗證LDF框架的優越性,我們選擇了兩個性能最好的主流模型作為我們工作的基礎,即Proto-HATT[8]和Proto-AWATT[4]。換句話說,我們將LDF集成到Proto-HATT和Proto-AWATT中,得到最終模型LDF-HATT和LDF-AWATT。

5.2 主實驗

從表2可以看出,LDF-HATT和LDF-AWATT在三個數據集上的性能始終優于其基礎模型。值得一提的是LDF-HATT在Macro-F1和AUC分數上最多獲得了5.62%和1.32%的提升。相比之下,LDF-AWATT最多比Proto-AWATT高3.17%和1.30%。這些結果表明我們的框架具有良好的兼容性。

事實上,LDF-AWATT的Macro-F1在大多數情況下提高了大約2%,而LDF-HATT的Macro-F1平均提高了大約3%。這與我們的預期一致,因為原始Proto-AWATT具有更強大的性能。LDF-HATT和LDF-AWATT在FewAsp(multi)數據集上比在FewAsp(single)數據集上表現更好。

一個可能的原因是FewAsp(multi)數據集中的每個類包含更多的實例,這使得LDF-HATT和LDF-AWATT在多標簽分類中可以生成更準確的原型。

表2:主實驗結果

824e320a-591e-11ed-a3b6-dac502259ad0.png

5.3 消融實驗

在不失一般性的情況下,我們選擇 LDF-AWATT模型進行消融實驗,以研究LDF中單個模塊對模型整體效果的影響。標簽引導的注意力策略簡稱LAS,-標簽加權的對比損失簡稱LCL,有監督的對比學習簡稱SCL。根據表3報告的結果,我們可以觀察到以下幾點:

表3:消融實驗結果

8268b300-591e-11ed-a3b6-dac502259ad0.png

1、與基礎模型Proto-AWATT相比, Proto-AWATT+LAS在三個數據集上取得了具有競爭力的性能,這驗證了利用標簽信息為每個類生成具有代表性原型的合理性;

2、將 LCL 集成到 Proto-AWATT+LAS后,LDF-AWATT 實現了 state-of-the-art 的性能,這表明 LCL 有利于區分相似的原型;

3、LAS 比 LCL 更有效。一個可能的原因是注意力機制是生成原型的核心因素。因此,它對我們的框架貢獻更大;

4、Proto-AWATT+SCL 在FewAsp 數據集上的性能略好于Proto-AWATT,但它們的結果遠低于 Proto-AWATT+LCL,這些結果進一步凸顯了LCL的有效性;

5、將類間關系集成到Proto-AWATT+SCL后,Proto-AWATT+LCL取得了更好的性能,這表明類間關系在區分相似原型方面起著至關重要的作用;

06

案例分析

為了更好地理解我們框架的優勢,我們從FewAsp 數據集中選擇一些樣本進行案例研究。具體來說,我們隨機抽取 5 個類,然后為這5個類抽取 50 次 5-way 5-shot 元任務。最后對于每個類,我們得到 50 個原型向量。

82a10afc-591e-11ed-a3b6-dac502259ad0.png

圖4:可視化Proto-AWATT、Proto-AWATT+LAS 和 LDF-AWATT 原型表示

6.1 Proto-AWATT vs. Proto-AWATT+LAS

如圖4(a) 和圖4(b) 所示,我們可以看到Proto-AWATT+LAS 學習到的每個類的原型表示顯然比Proto-AWATT 更集中。這些觀察表明Proto-AWATT+LAS確實可以為每個類生成更準確的原型。

6.2 Proto-AWATT+LAS vs. LDF-AWATT

如圖4(b)和圖4(c)所示,將LCL集成到Proto-AWATT+LAS后,LDF-AWATT學習到的food_mealtype_lunch和food_food_meat_burger的原型表示比Proto-AWATT+LAS更分離。這表明LCL確實可以區分相似的原型。

07

錯誤分析

為了分析我們框架的局限性,我們通過LDF-AWATT 從FewAsp 數據集中隨機抽取 100 個錯誤案例,并將它們大致分為兩類。表4顯示了每個類別的比例和一些代表性示例。主要類別是”Complex”,主要包括需要深入理解的示例。

如示例(1)所示,與 restaurant_location 相關的單詞片段“Chandler Downtown Serrano”在訓練集中出現的次數不超過 5 次,這些表達的低頻率使得我們的模型難以捕捉到它們的模式,因此給出正確的預測確實具有挑戰性。

第二類是”No obvious clues”,主要包括信息不足的例子。如示例(2)所示,句子很短,無法提供足夠的信息來預測真實標簽。

表4:LDF-AWATT模型的錯誤樣例

82aec7d2-591e-11ed-a3b6-dac502259ad0.png

08

總結

在本文中,我們提出了一種新穎的標簽驅動去噪框架(LDF)來緩解 FS-ACD 任務的噪聲問題。具體來說,我們設計了兩個合理的方法:標簽引導的注意力策略和標簽加權的對比損失,旨在為每個類生成更好的原型并區分相似的原型。大量實驗的結果表明,我們的框架 LDF 與其他最先進的方法相比實現了更好的性能。

論文鏈接:

https://arxiv.org/pdf/2210.04220.pdf

代碼鏈接:

https://github.com/1429904852/LDF






審核編輯:劉清

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • ACD
    ACD
    +關注

    關注

    0

    文章

    13

    瀏覽量

    11332
  • 分類器
    +關注

    關注

    0

    文章

    152

    瀏覽量

    13179
  • 卷積神經網絡

    關注

    4

    文章

    367

    瀏覽量

    11863

原文標題:EMNLP'22 Findings | 用于多標簽少樣本方面類別檢測的標簽驅動去噪框架

文章出處:【微信號:zenRRan,微信公眾號:深度學習自然語言處理】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    為電機體化應用提供一種大電流單通道集成電機驅動芯片

    電機驅動芯片 - SS6952T為電機體化應用提供一種大電流單通道集成電機驅動方案。SS6952T有路H橋
    的頭像 發表于 12-18 09:34 ?83次閱讀
    為電機<b class='flag-5'>一</b>體化應用提供<b class='flag-5'>一種</b>大電流單通道集成電機<b class='flag-5'>驅動</b>芯片

    YD7123高速低D類音頻放大驅動電路中文手冊

    電子發燒友網站提供《YD7123高速低D類音頻放大驅動電路中文手冊.pdf》資料免費下載
    發表于 12-03 11:36 ?1次下載

    一種面向飛行試驗的數據融合框架

    天地氣動數據致性,針對某外形飛行試驗數據開展了典型對象的天地氣動數據融合方法研究。結合數據挖掘的隨機森林方法,本文提出了一種面向飛行試驗的數據融合框架,通過引入地面風洞試驗氣動數據,實現了對復雜輸入參數的特征
    的頭像 發表于 11-27 11:34 ?218次閱讀
    <b class='flag-5'>一種</b>面向飛行試驗的數據融合<b class='flag-5'>框架</b>

    為電機體化應用提供一種雙通道集成電機驅動方案的電機驅動芯片-SS6811H

    電機驅動芯片 - SS6811H為舞臺燈光和其它電機體化應用提供一種雙通道集成電機驅動方案。SS6811H是款雙通道H橋
    的頭像 發表于 09-26 09:33 ?335次閱讀
    為電機<b class='flag-5'>一</b>體化應用提供<b class='flag-5'>一種</b>雙通道集成電機<b class='flag-5'>驅動</b>方案的電機<b class='flag-5'>驅動</b>芯片-SS6811H

    芯科科技完整的藍牙解決方案助推電子貨架標簽應用

    首先看看什么是ESL或稱電子貨架標簽?數字顯示,智能顯示,無線價格標簽。即便術語不同,但它們都是指電子貨架標簽或ESL。它是一種小型電池驅動
    的頭像 發表于 08-20 15:02 ?600次閱讀

    rup是一種什么模型

    RUP(Rational Unified Process,統建模語言)是一種軟件開發過程模型,它是一種迭代和增量的軟件開發方法。RUP是由Rational Software公司(現為IBM的
    的頭像 發表于 07-09 10:13 ?1243次閱讀

    頻譜儀測載比怎么測

    頻譜儀測量載比(Carrier to Noise Ratio, CNR)是一種評估無線通信系統性能的重要指標。載比是指信號功率與噪聲功率的比值,通常用分貝(dB)表示。在無線通信系統中,較高
    的頭像 發表于 06-03 10:13 ?1186次閱讀

    一種高效的KV緩存壓縮框架--GEAR

    GEAR框架通過結合三互補的技術來解決這挑戰:首先對大多數相似幅度的條目應用超低精度量化;然后使用低秩矩陣來近似量化誤差。
    發表于 03-19 10:12 ?333次閱讀
    <b class='flag-5'>一種</b>高效的KV緩存壓縮<b class='flag-5'>框架</b>--GEAR

    融智興科普|淺析RFID洗滌標簽管理應用

    RFID洗滌標簽一種應用RFID技術的標簽,主要用于洗滌行業中的布草管理。
    的頭像 發表于 03-14 17:57 ?679次閱讀
    融智興科普|淺析RFID洗滌<b class='flag-5'>標簽</b>管理應用

    介紹一種OpenAtom OpenHarmony輕量系統適配方案

    本文在不改變原有系統基礎框架的基礎上, 介紹了一種OpenAtom OpenHarmony(以下簡稱“OpenHarmony”)輕量系統適配方案。
    的頭像 發表于 03-05 09:24 ?1141次閱讀
    介紹<b class='flag-5'>一種</b>OpenAtom OpenHarmony輕量系統適配方案

    一種高效1.5V/4.2V的LED驅動器電路

    本文介紹了一種高效的 1.5 V 至 4.2 V LED驅動器電路,可與標準鋰離子電池起使用,以增強照明、延長備用電池和延長電池壽命。
    的頭像 發表于 02-25 14:19 ?1160次閱讀
    <b class='flag-5'>一種</b>高效1.5V/4.2V的LED<b class='flag-5'>驅動</b>器電路

    賽默斐視表面瑕疵檢測系統是一種利用機器視覺技術

    表面瑕疵檢測系統是一種利用機器視覺技術來檢測產品表面瑕疵的系統。它可以自動地對產品的表面進行檢測,識別出可能存在的缺陷、污漬、劃痕等問題。 表面瑕疵檢測系統通常包括以下步驟: 圖像采集:系統使用相機
    的頭像 發表于 01-25 15:47 ?310次閱讀

    rfid電子標簽的兩耦合方式

    RFID(Radio Frequency Identification)是一種無線通信技術,它通過電磁場中的無線電信號,在個特定的頻率范圍內對電子標簽或智能標簽進行數據通信。RFID
    的頭像 發表于 01-16 14:12 ?2401次閱讀

    介紹一種使用2D材料進行3D集成的新方法

    美國賓夕法尼亞州立大學的研究人員展示了一種使用2D材料進行3D集成的新穎方法。
    的頭像 發表于 01-13 11:37 ?1061次閱讀

    框架與芯片粘接中兩涂膠

    工藝,基于一種框架,對比分析了手工涂膠和絲網印刷兩涂膠工藝對框架芯片粘接工藝效果的影響。結果表明,絲網印刷涂膠和手工涂膠工藝均能滿足膠粘劑正常固化、耐受100次溫度沖擊、電路片四周溢
    的頭像 發表于 01-03 08:40 ?521次閱讀
    <b class='flag-5'>框架</b>與芯片粘接中兩<b class='flag-5'>種</b>涂膠
    主站蜘蛛池模板: 无码AV免费精品一区二区三区| 国产日韩成人内射视频| 国产成人精品自线拍| 精品国产5g影院天天爽| 千禧金瓶梅快播| 一品道门在线视频高清完整版| 67194线在线精品观看| 国产高清精品国语特黄A片| 久久ZYZ资源站无码中文动漫| 色欲人妻无码AV精品一区二区| 在线精品视频免费观看| 国产人妻人伦精品836700| 欧美最猛12teevideos欧美| 伊人香蕉在线播放视频免费| 国产精品第九页| 全身无赤裸裸美女网站| 伊人久久综合热青草| 国产一区二区三区在线看片| 日本无码专区亚洲麻豆| 97亚洲狠狠色综合久久位| 久青草国产观看在线视频| 中文在线观看免费网站| 国产精品系列在线观看| 午夜亚洲WWW湿好爽| 国产麻豆精品久久一二三| 无码丰满人妻熟妇区| 国产乱码一区二区三区| 精品亚洲国产熟女福利自在线 | 狠狠色狠狠色综合系列| 台湾佬休闲中性娱乐网| 国内九一激情白浆发布| 战狼4在线观看完免费完整版| 麻婆豆腐传媒视频免费| 97精品在线| 日韩人妻无码精品-专区| 国产成人亚洲综合无| 亚洲2023无矿砖码砖区| 国产亚洲精品久久精品录音| 亚洲 欧美 中文 日韩 另类| 黄色小说在线| 99视频精品全部免费观看|