01
—
方法介紹
Few-shot NER的三階段:Train、Adapt、Recognize,即在source域訓練,在target域的support上微調,在target域的query上測試。
如上圖,左邊(1-3)表示的是原型的loss1(訓練目標為各個原型分散分布),右邊(4-7)表示的是span的representation獲取,中間(8)是一個多層FFN(為了使得原型表示和span表示最終映射到同一個向量空間),中間(9-10)則是計算原型和span在同一個空間的loss2(為了使得實體span更靠近原型表示)
02
—
和過往工作相比
1、使得Adapt階段不只是通過對support集中的實體詞表示平均得到實體原型表示,而是能夠進行finetune(文中提到Ma et al. (2022) claim that the finetuning method is far more effective in using the limited information in support sets.)
2、過往的原型網絡的訓練方法使得最終的原型表示較接近,本文通過構造loss1(上一段提到的)使得原型表示分散開
03
—
實驗結果
這里僅挑選附錄部分的FEW-NERD實驗結果
從實驗結果來看,在INTRA上效果較好,在INTER上不如ESD。其中INTRA是指source和target之間的實體的粗粒度類型無交集,INTER則在粗粒度上有交集(細粒度上無交集)。(另外,2022年還有一篇SOTA文章Decomposed metalearning for few-shot named entity recognition,這里沒有進行對比)
04
—
消融實驗
1、使用token-level
2、缺少loss1(把原型打散的loss,方法介紹中有說)
3、使用cosine similarity而不是Euclidean distance來衡量span-prototype相似度
-
網絡
+關注
關注
14文章
7655瀏覽量
89624 -
Target
+關注
關注
0文章
13瀏覽量
8514
原文標題:COLING2022 | 少樣本NER:分散分布原型增強的實體級原型網絡
文章出處:【微信號:zenRRan,微信公眾號:深度學習自然語言處理】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
基于將 CLIP 用于下游few-shot圖像分類的方案
三階段充電器的關鍵參數疑點
中國聯通召開學習實踐活動第三階段工作會議
中芯國際將在2019年量產14納米FinFET,并勾勒28納米三階段藍圖
5G第三階段測試規劃詳解
五大設備商的5G三階段測試進展對比
我國5G完成第三階段測試 離5G商用又近了一步
華為完成中國5G技術研發試驗第三階段測試 刷新業界紀錄
京東方投34億元建12英寸OLED微顯示器件生產線,分三階段
介紹兩個few-shot NER中的challenge
UBBF 2023 | 邁向F5.5G,華為發布三階段全光目標網架構

邁向F5.5G,華為發布三階段全光目標網架構
基于顯式證據推理的few-shot關系抽取CoT

評論