色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

細解讀關系抽取SOTA論文

深度學習自然語言處理 ? 來源:深度學習自然語言處理 ? 作者:廠妹 ? 2021-02-10 17:18 ? 次閱讀

本文主要詳細解讀關系抽取SOTA論文Two are Better than One:Joint Entity and Relation Extraction with Table-Sequence Encoders[1], 順帶簡要介紹關系抽取的背景,方便完全不了解童鞋。

信息抽取

我們說的信息抽取一般是指從文本數據中抽取特定數據結構信息的一種手段。對于不同結構形式的數據如結構化文本,半結構化文本,自由文本,有各自對應的方案,其中從自由文本中抽取難度最大??傊?,我們的目的是希望在海量文本中,快速抽出我們關注的事實。

了解信息抽取必須要知道關系抽取。

關系抽取

大部分情況下,我們喜歡用三元組的數據結構來描述抽取到的信息

三元組

三元組的表達能力非常豐富,幾乎所有事情都可以自然或者強行的表達成三元組,比如隨便一句”今天天氣真冷“ 表達為天氣-狀態-冷。

三元組與后續的知識圖譜工作非常適配,如Neo4j等圖數據庫就是以三元組為存儲單位,圖譜的查詢推斷等工具使用三元組比普通的關系型數據庫來的方便的多。

三元組千千萬,我應該怎么抽?

Schema

當我們拿到一個信息抽取的任務,需要明確我們抽取的是什么,”今天天氣真冷“,我們要抽的天氣的狀態天氣-狀態-冷,而非今天-氣候-冷(雖然也可以這樣抽),因此一般會首先定義好我們要抽取的數據結構模式shcema, 會確定謂詞以及主語并與的類型

一個三元組schema的例子,其中Subject_type代表主語類型,Predicate是謂詞,Object_type指賓語類型:

Subject_type:人物 Predicate:出生地 Object_type:地點

確定了schema,我們一般如何抽取呢?

常規RE方案

目前主流關系抽取一般兩種解決方法

pipline兩步走:將關系抽取分解為NER任務和分類任務,NER任務標注主語或賓語,分類主要針對定義的schema中的有限個謂詞進行分類。根據具體任務不同,有些可能是兩步走或者三步走,pipline任務的順序先分類還是先標注也會有差異

Pipline優勢:每一步分別針對各個任務進行,表征是task-specific, 相對來說精度較高

Pipline缺陷:- 任務有順序會存在誤差傳遞問題,即在預測時下一步任務會受上一步誤差影響,而在訓練階段沒有這種誤差,因此存在訓練和預測階段的gap- 分開的任務在一句話中多個實體關系時,比較難解決實體和關系的對應問題,以及重疊關系

joint learning:joint learing可以理解為采用多任務的方式,同時進行NER和關系分類任務, 在眾多joint learning中最出眾的是采用tabel filled 方式,即任務的輸出是filled一張有text-sequence構成的表,在表中的位置表達除了詞與詞的連接,該位置的標注則標出了謂語(如下圖)

abb062f2-603d-11eb-8b86-12bb97331649.jpg

優勢:1. 兩個任務的表征有交互作用可能輔助任務的學習2. 不用訓練多個模型,一個模型解決問題,不存在訓練與預測時的gap

缺陷:1. 兩個任務的表征可能沖突,影響任務效果2. 解決了主謂賓之間的對應關系,無法解決重疊問題3. Fill table本質仍然是轉成sequence來fill,未能充分利用table結構信息(下文會解釋)

下面重點解讀table fill方式的一篇SOTA,解決了joint learning的多任務表征沖突以及為利用table結構信息

RE with Table Sequence

終于來到本篇的主題啦,為了解決一般filled table的問題, 作者提出table-sequence encoder的方法,分別對table和sequence做表征,本文的最大貢獻在于

分別對table和sequence做表征(encoder),并設計了一個Table-Guided Attention來對table和sequence進行交互,這樣即不會完全共享表征導致對不同的任務表征沖突,也不會丟失表征的相互指導作用

在table encoder中采用多維GRU來捕獲更多的句子結構信息

在架構上table encoder和 sequence encoder多層交互

ac3efaee-603d-11eb-8b86-12bb97331649.jpg

下面仔細介紹各個部分,看看它是如何神奇做到SOTA的

Text Embedder

在上圖的結構圖中,Text Embedder采用類似FLAT分別做了基于lstm的char()和word(),以及基于bert的word ()作為預訓練的embedding ,并拼接起來

圖中

Table Encoder

整個Table Encoder部分由多個Table Encoding的單元組成,每個Encoding單元的輸入分別是起始輸入,對應senquence結構的輸入,以及上一個Tabel Encoding單元的輸出,Table Encoding 采用MDRNN結構提取輸入的特征信息,作者在這選擇MDGRU(多維度GRU),tabel結構本身有2維,加上前后層實際有4維,但是層的維度信息單向流動,實際上是只用到了3個方向()

aca0965a-603d-11eb-8b86-12bb97331649.jpg

如圖所示,是來自sequence的輸入,作者分別測了使用所有方向和分別使用幾個方向,發現上圖中a,c效果類似,這種多維GRU全面的考慮了整個table的結構信息,即一個詞的狀態跟其他所有詞的狀態相關,并且受其他詞的不同程度的影響,這種影響程度由GRU門控機制控制

Sequence Encoder

sequence Encoder 也由多個sequence encoding夠成,sequence encoding結構直接采用transformer中的encoder

acd7cc4c-603d-11eb-8b86-12bb97331649.jpg

只不過將其中的self attention替換為table-guide attention,這種attention的改造非常巧妙,能更好捕捉word-word之間的關系

ad42628c-603d-11eb-8b86-12bb97331649.jpg

正常的dot attention如上圖

Table-Guided attention具體來說:

參數矩陣

采用加性

是table encoder中的table的隱藏節點,該節點由多個方向的經過GRU編碼得到,不管是哪個方向它的來源始終是由構造而來,理論上是可以由擬合而來,因此這里直接由 來代替 ,也就是這個attention,其實是計算了table 結構中各個位置對該的權重,是一個四面八方attention

剩下就是transform中正常的LayerNorm 和殘差結構了

輸出和loss

輸出比較常規,loss采用常規

輸出:

loss:

實驗 and 效果

作者在各個數據集上進行實驗,對比各個目前SOTA分別有一定的提高,且時效果最佳,模型參數量不到5M,要什么自行車,附上開源地址[2],作者的代碼與論文在attention計算有一丟丟不一致,但是并不影響效果

ad840d72-603d-11eb-8b86-12bb97331649.jpg

責任編輯:xj

原文標題:關系抽取一步到位!

文章出處:【微信公眾號:深度學習自然語言處理】歡迎添加關注!文章轉載請注明出處。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 深度學習
    +關注

    關注

    73

    文章

    5500

    瀏覽量

    121113
  • 自然語言
    +關注

    關注

    1

    文章

    287

    瀏覽量

    13347
  • nlp
    nlp
    +關注

    關注

    1

    文章

    488

    瀏覽量

    22033

原文標題:關系抽取一步到位!

文章出處:【微信號:zenRRan,微信公眾號:深度學習自然語言處理】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    請問AMC1203文檔中的OSC過采樣率和sinc3濾波器中的抽取率是不是同一個概念?

    1、請問AMC1203文檔中的OSC過采樣率和sinc3濾波器中的抽取率是不是同一個概念?同為256? 2、抽取率是不是MCLK時鐘的分頻因子? 3、Combining the ADS1202
    發表于 12-16 06:42

    軌道交通行業 ICY DOCK硬盤抽取盒解決方案

    在當今的數據存儲領域,硬盤抽取盒已成為眾多應用中不可或缺的關鍵環節,尤其在軌道交通行業中,硬盤盒解決方案至關重要,它直接關系到數據存儲的安全性、穩定性和可靠性,以及系統維護的便利性。ICYDOCK
    的頭像 發表于 11-21 17:10 ?140次閱讀
    軌道交通行業 ICY DOCK硬盤<b class='flag-5'>抽取</b>盒解決方案

    ADS1299用ADS采集數據,ADS可以不抽取看原始得數據嗎?

    1.用ADS采集數據,將時域的數據進行FFT變換,得到頻譜里面看似有 Sinc Filter 抽取,不需要抽取是否可以?ADS可以不抽取看原始得數據嗎? 2.這個和手冊上的頻譜不一樣? 請問這個是什么問題呢?
    發表于 11-20 06:05

    求助,關于AMC1306M25抽取率OSR的疑問求解

    我客戶目前正在評估AMC1306M25,有以下疑問需要解答,可否幫忙確認一下: 圖為官方的例程,兩個都應該指的是抽取率OSR。但是當客戶在第一個函數中填的抽取率為64,到第二張圖中ratio的值
    發表于 11-14 07:09

    TLV320AIC3254內部中的ADC處理模塊和minidsp到底是什么關系?

    我想請問一下幾個問題: 1.3254內部中的ADC處理模塊和minidsp到底是什么關系,是并列的還是串行關系?還是ADC處理模塊就是minidsp特殊情況下的部分? 2.minidsp的抽取因子該怎么理解,到底怎么使用?
    發表于 10-31 06:02

    關于\"OPA615\"的SOTA的跨導大小的疑問求解

    關于OPA615的SOTA部分,看datasheet的page9的figure22,我們可以知道跨導大小大概是35mA/V左右,并且可以知道其Chold輸出一般在5mA以內,但是我從社區里面找到
    發表于 09-13 06:25

    求助,AD7190關于Σ-Δ ADC其中的抽取濾波器的數據轉換問題求解

    AD7190可以通過模式寄存器的FS[0:9]設置輸出速率, 0-1023的范圍;此時設置的數據速率選擇位是否就是Σ-Δ ADC抽取濾波器的抽取比? 關于抽取濾波器,此時我設置的為1023,那我是否
    發表于 09-09 06:11

    防水和防振動功能2.5 英寸SAS/SATA硬盤抽取盒 非常適合車載數據存儲

    首創的防水和防振動功能 2.5 英寸 SAS/SATA 硬盤抽取盒 – 非常適合車載數據存儲
    的頭像 發表于 08-12 19:16 ?452次閱讀
    防水和防振動功能2.5 英寸SAS/SATA硬盤<b class='flag-5'>抽取</b>盒 非常適合車載數據存儲

    CAN/CAN FD/CAN XL三大總線協議解讀,是逐步替代關系嗎?

    進入核心市場。 不過,從市場表現來看,目前CAN/CAN FD/CAN XL各有各的市場,并非逐步取代的關系,背后的原因是什么呢? ? CAN/CAN FD/CAN XL協議解讀 CAN
    的頭像 發表于 08-12 01:12 ?4387次閱讀

    NB81是否支持OneNet SOTA功能?應該如何激活SOTA

    NB81是否支持OneNet SOTA功能? 可以支持,應該如何激活SOTA
    發表于 06-04 06:14

    ICY DOCK Expresscage MB038SP-B硬盤抽取盒評測

    ICYDOCK最近又推出了一款ExpressCage系列的有趣產品,適用于SoHo、服務器和工業應用。今天,我們將測試這臺ExpressCageMB038SP-B全金屬硬盤抽取盒,該硬盤抽取盒有8個
    的頭像 發表于 05-17 16:20 ?443次閱讀
    ICY DOCK Expresscage MB038SP-B硬盤<b class='flag-5'>抽取</b>盒評測

    旋變位置不變的情況下,當使能SOTA功能與關閉SOTA功能時,APP中DSADC采樣得到的旋變sin和cos兩者值不一樣,為什么?

    旋變位置不變的情況下,當使能SOTA功能與關閉SOTA功能時,APP中DSADC采樣得到的旋變sin和cos兩者值不一樣,用示波器采的輸入到MCU端的差分電壓是一樣的,難道是SOTA使能后影響了MCU芯片內部的等效阻抗嗎,有專家
    發表于 05-17 08:13

    EMC技術:基礎概念到應用的解讀?

    EMC技術:基礎概念到應用的解讀?|深圳比創達電子
    的頭像 發表于 03-11 11:55 ?575次閱讀
    EMC技術:基礎概念到應用的<b class='flag-5'>解讀</b>?

    SWAP是否適用于兩個用于TC3xx系列控制器的獨立軟件?

    目前正在使用 Swap/Partitions 概念實現 SOTA(TC3xx 系列)。 檢查為應用程序和引導加載程序實施 SOTA 的可行性。 1。對于兩個獨立的軟件,SOTA是否可行? 2。如果是
    發表于 01-30 07:56

    解讀光模塊波長與傳輸距離的關系 波長是影響光模塊傳輸距離的因素嗎

    解讀光模塊波長與傳輸距離的關系 波長是影響光模塊傳輸距離的因素嗎?? 光模塊波長與傳輸距離的關系是一個重要的光通信技術問題。波長是光的特性之一,它直接影響了光信號在光纖中傳輸的性能和距離。在現代通信
    的頭像 發表于 12-27 11:28 ?1351次閱讀
    主站蜘蛛池模板: 不戴套挺进人妻怀孕| 成年人视频在线免费播放| 办公室丝袜老师在线观看| 国产精品第十页| 久久久久久人精品免费费看| 青青草原国产| 亚洲色无码播放| 草莓视频在线播放视频| 黄色三级在线| 秋霞午夜一级理论片久久| 精品人妻伦一二三区久久AAA片 | 欧美精品专区免费观看| 偷拍久久国产视频免费| 在线观看成年人免费视频| 高清无码色大片中文| 久久精品男人影院| 色戒在线完整观看在线播放版| 在线精品国精品国产不卡| 出轨的妻子在线观看| 久久香蕉国产免费天天| 天美麻豆成人AV精品| 97人妻精品全国免费视频| 国产亚洲欧美日韩综合综合二区| 破女在线观看视频| 永久免费精品影视网站| 国产精品7777人妻精品冫| 年轻夫妇韩剧中文版免费观看| 亚洲精品久久7777777| 成人在线免费视频| 美女被强奷到抽搐的动态图| 亚洲国产在线精品国自产拍五月| xxx日本免费| 妹妹我要色| 亚洲一品AV片观看五月色婷婷| 国产69精品久久久久无码麻豆 | 刮伦人妇A极一片| 久久久久久久久久综合情日本| 推倒美女总裁啪啪| 扒开老师大腿猛进AAA片| 久久亚洲午夜牛牛影视| 亚洲欧美激情精品一区二区|