色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

介紹兩個few-shot NER中的challenge

深度學習自然語言處理 ? 來源:AI Station ? 作者:QI ? 2022-08-24 10:01 ? 次閱讀

01

Introduction-現有什么問題、怎么解決

此部分著重介紹了兩個few-shot NER中的challenge:limited information challenge和knowledge mismatch challenge。前者主要是指樣本數少,后者是指不同的數據集中同一個實體可能被分成了不同的類別標簽。(比如“America”在Wikipedia被分為geographic , 在 OntoNotes中被分為GPE, 在WNUT17被分為location )

本文最重要的思想基于這樣一個假設:不論是否是未知的實體類別,都可以用一個概念集中的若干概念來描述(all entity types can be described using the same set of concepts)。這樣可以解決knowledge mismatch challenge,而且在給了幾個少樣本后,可以根據這幾個少樣本構建新實體類別到概念集的映射,這樣可以直接用映射后的若干概念識別實體,進而解決limited information challenge。下圖是實體類別到概念集的映射舉例。

93bd0394-22ce-11ed-ba43-dac502259ad0.jpg

02

SDNet: Self-describing Networks for FS-NER

2.1 SDNet核心部分: Mention describing、Entity generation

這部分將主要介紹SDNet怎么進行命名實體識別的,主要包括:Mention describing(從給的sentence構建該實體的concept description)和Entity generation(根據給的實體類型逐個生成句子中的實體詞)。

以下圖為例,輸入一個sentence(以[MD]作為起始符),SDNet將輸出novel series這樣的concept description。輸入一個以[EG]作為起始符、實體類別名+相關的concept description以及待識別的sentence作為內容的文本,SDNet將輸出Harry Potter is creative work.這樣的回答。這兩個過程分別對應Mention describing和Entity generation。

93d176ee-22ce-11ed-ba43-dac502259ad0.png

2.2 模型工作流程

93dc6414-22ce-11ed-ba43-dac502259ad0.jpg

a、預訓練階段

左上角的維基百科上有大量的句子,句子中的人物、地點、公司等都有相應的維基百科給的標簽和描述。預訓練階段根據2.1部分介紹的模板,進行[MD]和[EG]兩個任務的Seq2Seq任務的訓練。

b、微調與解碼階段

這部分對應于Few-shot NER的少樣本階段。給了一些帶標注的少量樣本句子,我們知道了這些句子中那些單詞是實體部分,把這些實體部分添加到以[MD]開頭的模板并輸入到SDNet中,模型會生成這些實體部分描述,并將生成的描述加入到新類別的概念描述集中,并在預測階段輸入添加了新類別的[EG]開頭的模板,根據生成的結果判斷待預測的句子中哪些單詞部分是該類別的實體。

以上圖中為例,給的少樣本中Iran是GPE類別的實體,SDNet先用[MD]開頭的模板生成了Iran是country的描述,將country加入到屬于GPE這個新類別的概念描述集合中,在預測階段用[EG]開頭的模板輸入GPE這個類別名、其包含的概念描述以及待識別的句子,生成屬于GPE的實體詞,完成實體識別。

c、Filtering Strategy

在眾多下游任務中,SDNet可能會遇到難以生成新實體類別描述的情況(或者或生成不準確的描述),因此SDNet在訓練階段可以對于那些不去確定的instance生成other的描述詞。如果給少量樣本生成的描述詞中有0.5以上的other,將在最后的decode階段直接使用新實體類別名(如GPE)。(實驗部分可以看到這個策略帶來了一定的提升)

具體實現過程將不再贅述,可以看原文的第4部分,有對預訓練和fintune階段的詳細介紹。

03

實驗部分

93f542f4-22ce-11ed-ba43-dac502259ad0.jpg

這種借助先驗知識的方式,在6個數據集上都取得了很好的效果,尤其是對一些之前的識別效果一直很差的(比如I2B2),這說明這種通用的實體概念集合在各種類別間是通用的。

04

評價

優點

為少樣本NER引用外部知識提供了新思路,且提供了可直接使用的,通用的預訓練模型,可以為后來的研究工作提供參考。

可能的缺陷

在很多新領域下(尤其涉及到domain transfer)的,可能會出現很多無法描述成概念集合的實體類別,出現大量的other,這時只能用實體類別名了,在完全不重疊的領域之間可能效果會不佳。

另外,預訓練階段使用的維基百科,大量的是事件人物地點等這些廣泛且常用的,面對實際應用中的非常見實體類別時,可能做不到很好的描述。

在大量的語料中進行訓練,可能出現了“泄露”,當然這只是一個猜測。




審核編輯:劉清

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • SDNet
    +關注

    關注

    0

    文章

    4

    瀏覽量

    5625

原文標題:ACL2022 | 基于自描述網絡的小樣本命名實體識別

文章出處:【微信號:zenRRan,微信公眾號:深度學習自然語言處理】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    單相電機兩個繞組都在定子上嗎

    單相電機的兩個繞組,即起動線圈(或稱為輔助繞組、副繞組)和運行線圈(或稱為主繞組),都位于定子上 。這兩個繞組在電機起著關鍵作用,共同協作以產生旋轉磁場,從而使電機能夠運轉。 單相電機通常由一
    的頭像 發表于 09-03 15:10 ?734次閱讀

    ad如何設置兩個元器件的距離

    在Altium Designer(簡稱AD)設置兩個元器件之間的距離,主要是通過設置元器件間的安全間距(Clearance)規則來實現的。這個規則定義了元器件之間、元器件與走線之間以及其他設計元素
    的頭像 發表于 09-02 15:31 ?6619次閱讀

    功放機AB兩個聲道輸出怎么接

    功放機AB兩個聲道輸出的接線方式,主要取決于您想要實現的音頻效果以及音箱的配置。以下將詳細介紹幾種常見的接線方式,以及它們各自的特點和適用場景。 一、基礎接線方式 在大多數情況下,功放機的AB兩個
    的頭像 發表于 08-23 10:40 ?2635次閱讀

    觸發器的兩個穩定狀態分別是什么

    觸發器作為數字電路的基本邏輯單元,具有兩個穩定狀態,這兩個狀態通常用于表示二進制數碼的0和1。
    的頭像 發表于 08-12 11:01 ?1050次閱讀

    雙穩態電路的兩個穩定狀態是什么

    雙穩態電路是一種具有兩個穩定狀態的電子電路,廣泛應用于數字電路、通信系統、存儲器等領域。 雙穩態電路的基本概念 雙穩態電路是一種具有兩個穩定狀態的電路,即在沒有外部輸入信號的情況下,電路可以保持在
    的頭像 發表于 08-11 15:00 ?1335次閱讀

    雙穩態觸發器的兩個基本性質是什么

    雙穩態觸發器(Bistable Trigger)是一種具有兩個穩定狀態的邏輯電路,廣泛應用于數字電路設計。它具有兩個基本性質:記憶性和切換性。 一、雙穩態觸發器的基本概念 1.1 雙穩態觸發器
    的頭像 發表于 08-11 10:08 ?666次閱讀

    兩個PLC之間如何交互信號

    在工業自動化系統,PLC(Programmable Logic Controller,可編程邏輯控制器)是核心的控制設備。在許多復雜的應用場景,需要兩個或多個PLC之間進行信號交互,以實現更高
    的頭像 發表于 06-14 16:57 ?4276次閱讀

    怎么讓工程同時存在兩個ioc文件?

    你好,我現在需要在一工程兼容兩個不同的項目,這兩個項目有不同的配置文件,請問可否讓兩個ioc文件同時存在,通過修改路徑之類的方法來使需要
    發表于 05-23 07:50

    兩個銅片可以形成原電池嗎

    兩個銅片本身不能形成原電池,因為原電池的工作原理依賴于兩個不同電位的電極材料之間的氧化還原反應。
    的頭像 發表于 05-21 16:23 ?942次閱讀

    為什么在交流電橋至少需要兩個可調參數?

    在交流電橋的測量,至少需要兩個可調參數的原因與電橋的工作原理、測量的準確性以及校準過程有關。
    的頭像 發表于 05-15 17:49 ?1830次閱讀

    原電池中的兩個電極能是相同的嗎?

    在原電池的設計和運作兩個電極是否可以相同,這取決于電池的類型和所需的電化學反應。
    的頭像 發表于 04-26 17:32 ?2244次閱讀

    arcgis如何關聯兩個屬性表

    在ArcGIS,關聯兩個屬性表是一重要的操作,可以通過此操作將兩個的數據關聯起來,以便進行分析和查詢。下面是詳細
    的頭像 發表于 02-25 11:01 ?4190次閱讀

    兩個電位器地控制一變頻器,如何接線?

    兩個電位器地控制一變頻器,如何接線? 接線方式如下: 1. 首先,明確需要使用的電器設備。在這個場景,我們需要兩個電位器(即可變電阻器
    的頭像 發表于 02-05 10:13 ?5231次閱讀

    兩個機器的時鐘怎么同步?

    多個機器的時鐘保持同步。在本文中,我們將詳細介紹如何同步兩個機器的時鐘,并討論其原理、方法和實施。 一、時鐘同步的重要性 1.數據一致性:在分布式系統,確保多個機器的時鐘同步可以保證數據在不同機器上的一致性,
    的頭像 發表于 01-16 14:26 ?1624次閱讀

    ADXRS453能同時檢測兩個方向嗎?

    ADXRS453的介紹說可以檢測兩個方向X或Y,但是手冊只提供了一套速率寄存器RATE0和RATE1,只能用于一方向。我的問題是ADX
    發表于 12-29 06:30
    主站蜘蛛池模板: 国产精品视频大全| 好爽别插了无码视频| 国产在线视精品在亚洲| 国内外成人免费在线视频| 米奇在线8888在线精品视频| 色橹| 亚洲嫩草影院久久精品| 9久久免费国产精品特黄| 国产一区二区三区影院| 女人精69xxxxx| 亚洲精品视频免费看| XXOO麻豆国产在线九九爱| 国色天香视频在线社区| 欧美尤物射精集锦| 野花香HD免费高清版6高清版 | 精品久久久久久无码人妻国产馆| 男女牲交全过程免费播放| 小黄文纯肉污到你湿| 99热免费精品店| 韩国黄色影院| 日韩精品免费在线观看| 中文字幕在线播放视频| 国产无线乱码一区二三区| 欧美成 人 网 站 免费| 亚洲字幕久久| 国产高潮久久精品AV无码| 免费一级特黄欧美大片久久网| 亚洲国产第一| 刺激性视频黄页| 男欢女爱免费视频| 亚洲人成www在线播放| 国产AV麻豆出品在线播放| 母狗黄淑珍| 又硬又粗又大一区二区三区视频| 国产精品第八页| 祺鑫WRITEAS流出来了| 中文字幕伊人香蕉在线| 饥渴难耐的浪荡艳妇在线观看| 色姐妹久久综合在线av| 99精品视频一区在线视频免费观看 | 在线亚洲专区中文字幕|