色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

一個學習何時做分類決策的強化學習模型:Jumper

倩倩 ? 來源:雷鋒網 ? 2020-04-17 11:25 ? 次閱讀

文本理解是自然語言處理領域的一個核心目標,最近取得了一系列的進展,包括機器翻譯、問答等。不過之前的工作大多數是關心最終的效果,而人們對于模型何時做出決定(或做決定的原因)卻知之甚少,這是一個對于理論研究和實際應用都非常重要的課題。深度好奇(DeeplyCurious.AI) 最近在IJCAI-2018上展示了一個學習何時做分類決策的強化學習模型:Jumper, 該論文將文本分類問題建模成離散的決策過程,并通過強化學習來優化,符號化表征模型的決策過程具有很好的可解釋性,同時分類效果也達到最高水平。

本文提供了一種新的框架,將文本理解建模為一個離散的決策過程。通常在閱讀過程中,人們尋找線索、進行推理,并從文本中獲取信息;受到人類認知過程的啟發,我們通過將句子逐個地遞送到神經網絡來模仿這個過程。在每個句子中,網絡基于輸入做出決策(也稱為動作),并且在該過程結束時,該決策序列可以視為是對文本有了一些“理解”。

特別一提的是,我們專注于幾個預定義子任務的文本分類問題。當我們的神經網絡讀取一個段落時,每個子任務在開始時具有默認值“無”(None)。 在每個決策步驟中,段落的句子按順序被遞送到神經網絡;之后,網絡來決定是否有足夠的信心“跳轉”到非默認值作為特定時間的預測。我們施加約束,即每次跳轉都是最終決定,它不可以在后面的閱讀中被更改。如圖1所示,給定一段話,有多個預先定義好的問題等待回答;模型按句子閱讀,在閱讀過程中,問題的答案陸續被找到。模型從默認決策到非默認決策都是一個“跳轉”的過程,正因此我們稱模型為Jumper。在人類閱讀的過程中,人們通常會獲得一致的閱讀理解的結果,但是閱讀理解過程中的很多環節卻經常是微妙和難以捉摸的。同樣,我們也假設我們的訓練標簽僅包含最終結果,并且沒有給出關于模型應該做出決定的步驟的監督信號。也就是說,我們通過強化學習在弱監督信號情況下訓練Jumper模型。

圖1 Jumper模型在閱讀段落的決策過程

Jumper模型主要由編碼層、控制器、符號輸出層構成。編碼層將句子編碼成定長的向量,控制器根據歷史和當前輸入產生當前的決定,符號輸出層使模型的輸出滿足跳轉約束,即每個決策過程最多只能有一次跳轉。

圖2 Jumper模型的基本框架

跳轉約束的作用在于使模型更加慎重地決定何時跳轉。因此,Jumper模型的優化目標有兩個,第一個是盡可能早地“跳轉”,第二個是盡可能預測準。假設t* 是最佳的跳轉時間,那么如果模型在t* 時刻之前跳轉,則模型還沒有看到真正的pattern,那么得到的答案等同于隨機猜;如果模型在t* 時刻之后跳轉,而t* +1句話可能不存在,因此沒有機會跳轉從而預測錯誤。

通過上述建模,論文把文本分類問題轉化為離散的決策過程,訓練好的Jumper輸出的離散決策過程就可以表達模型對文本的理解過程;而決策過程本身并沒有標簽,因此我們用policy gradient強化學習算法來訓練,如果最終的決定和分類標簽一致,就獎勵整個決策動作,如果不一致,則懲罰。

我們對三個任務評估了Jumper,包括兩個基準數據集和一個實際工業應用。我們首先分析了Jumper的分類準確性,并與幾個基線進行了比較。表1顯示Jumper在所有這些任務上實現了相當或更好的性能,這表明將文本分類建模為順序決策過程不僅不會損害、甚至提高了分類準確性。

表1 在電影評論數據集(MR)、新聞數據集(AG)和工傷數據集(OI)的測試集上的準確率

我們想指出,“準確性”并不是我們關注的唯一表現。更重要的是,提出的模型能夠減少閱讀過程,或者找到文本分類的關鍵支撐句。只要在閱讀過程中基于“跳轉約束”限制而看到足夠的證據,Jumper就能做出決定,并且在預測之后不需要再閱讀之后的句子。在表2中可以看到,我們的模型與強基線相比達到了相似或更高的性能,與此同時,它還將文本讀取的長度縮減了30-40%,從而加速了推斷預測。

表2

除了準確率高和推斷速度快以外,我們更好奇Jumper是否能夠在信息提取式任務(例如工傷級別分類任務)中找到正確的位置做出決策。我們在400個數據點中標注關鍵支撐句(即最佳跳轉位置)作為測試基礎。需要注意的是,在這個實驗中我們仍然沒有跳轉位置的訓練標簽。我們將Jumper與使用相同神經網絡的層級CNN-GRU模型進行比較,但在訓練方法方面有所不同;層級CNN-GRU在訓練時,用段落末尾的交叉熵作為損失函數。在測試期間,我們將預測器應用于每個步驟并找到它做出預測的第一個位置。我們還列出了一個經典CNN的結果作為基線模型,并使用了最大池化操作(max-pooling)選擇的單詞最多的那些句子來作為測試數據。我們使用了跳轉動作的準確率來評測Jumper。通過表3可知,Jumper準確地找到了測試集中所有關鍵支撐句的位置,說明我們的單跳約束迫使模型更仔細地思考何時做出決策,也驗證了強化學習是學習決策正確位置的有效方法。

表3 各模型在工傷等級分類任務(OI-Level)上尋找關鍵支撐句的效果統計。該任務的關鍵支撐句在文本中通常聚集于一處,不存在歧義,便于衡量各模型效果。CA:分類準確率,JA:跳躍準確率,OA:在分類準確條件下的跳躍準確率

圖3則顯示了Jumper在閱讀時做出決策的過程。其中,Jumper在前六個句子中保持默認決策(不做跳轉),而在到達關鍵支撐句時突然跳轉,這體現了Jumper可以識別關鍵支撐句,從而找到最佳跳躍位置。因此,在這類關鍵支撐語句集中出現時,Jumper可以在完成分類任務的同時找到關鍵支撐句,因此具有較強的可解釋性。

圖3 Jumper決策序列展示

總結

我們提出了一種新的模型Jumper,它在閱讀段落時將文本分類建模為逐個句子的順序決策過程。我們通過強化學習訓練帶有跳轉約束的Jumper,實驗表明:1) Jumper的性能與基線相當或更高;2) 它在很大程度上減少了文本閱讀量;3) 如果所需信息在文中的分布是局域性的,它可以找到關鍵的支撐句子,具有很好的可解釋性。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 控制器
    +關注

    關注

    112

    文章

    16390

    瀏覽量

    178442
  • 機器翻譯
    +關注

    關注

    0

    文章

    139

    瀏覽量

    14910
  • 自然語言處理

    關注

    1

    文章

    619

    瀏覽量

    13579
收藏 人收藏

    評論

    相關推薦

    螞蟻集團收購邊塞科技,吳翼出任強化學習實驗室首席科學家

    領域的研究與發展。令人矚目的是,邊塞科技的創始人吳翼已正式加入該實驗室,并擔任首席科學家職。 吳翼在其個人社交平臺上對這變動進行了回應。他表示,自己最近接受了螞蟻集團的邀請,負責大模型強化
    的頭像 發表于 11-22 11:14 ?615次閱讀

    主動學習在圖像分類技術中的應用:當前狀態與未來展望

    選擇高質量的訓練數據;基于數據分布信息的算法,根據數據分布的特點來優化樣本選擇策略;優化模型預測的算法,包括優化獲取和利用深度模型預測信息的方法、基于生成對抗網絡和強化學習來優化預測模型
    的頭像 發表于 11-14 10:12 ?334次閱讀
    主動<b class='flag-5'>學習</b>在圖像<b class='flag-5'>分類</b>技術中的應用:當前狀態與未來展望

    如何使用 PyTorch 進行強化學習

    強化學習(Reinforcement Learning, RL)是種機器學習方法,它通過與環境的交互來學習如何做出決策,以最大化累積獎勵。
    的頭像 發表于 11-05 17:34 ?319次閱讀

    AI大模型與深度學習的關系

    AI大模型與深度學習之間存在著密不可分的關系,它們互為促進,相輔相成。以下是對兩者關系的介紹: 、深度學習是AI大模型的基礎 技術支撐 :
    的頭像 發表于 10-23 15:25 ?886次閱讀

    谷歌AlphaChip強化學習工具發布,聯發科天璣芯片率先采用

    近日,谷歌在芯片設計領域取得了重要突破,詳細介紹了其用于芯片設計布局的強化學習方法,并將該模型命名為“AlphaChip”。據悉,AlphaChip有望顯著加速芯片布局規劃的設計流程,并幫助芯片在性能、功耗和面積方面實現更優表現。
    的頭像 發表于 09-30 16:16 ?431次閱讀

    深度學習中的時間序列分類方法

    時間序列分類(Time Series Classification, TSC)是機器學習和深度學習領域的重要任務之,廣泛應用于人體活動識別、系統監測、金融預測、醫療診斷等多個領域。隨
    的頭像 發表于 07-09 15:54 ?1008次閱讀

    深度學習中的模型權重

    在深度學習充滿無限可能性的領域中,模型權重(Weights)作為其核心組成部分,扮演著至關重要的角色。它們不僅是模型學習的基石,更是
    的頭像 發表于 07-04 11:49 ?1435次閱讀

    深度學習的典型模型和訓練過程

    深度學習作為人工智能領域的重要分支,近年來在圖像識別、語音識別、自然語言處理等多個領域取得了顯著進展。其核心在于通過構建復雜的神經網絡模型,從大規模數據中自動
    的頭像 發表于 07-03 16:06 ?1547次閱讀

    深度學習模型訓練過程詳解

    深度學習模型訓練是復雜且關鍵的過程,它涉及大量的數據、計算資源和精心設計的算法。訓練深度
    的頭像 發表于 07-01 16:13 ?1325次閱讀

    通過強化學習策略進行特征選擇

    更快更好地學習。我們的想法是找到最優數量的特征和最有意義的特征。在本文中,我們將介紹并實現種新的通過強化學習策略的特征選擇。我們先討論強化學習,尤其是馬爾可夫
    的頭像 發表于 06-05 08:27 ?373次閱讀
    通過<b class='flag-5'>強化學習</b>策略進行特征選擇

    種利用光電容積描記(PPG)信號和深度學習模型對高血壓分類的新方法

    學習方法來對高血壓的四階段進行分類。這里采用的分類方法是:Alexnet、Resnet -50、VGG-16和新的模型:AvgPool_V
    發表于 05-11 20:01

    AI大模型落地學習機,大模型應用成學習機創新方向

    電子發燒友網報道(文/李彎彎)大模型在終端產品上的落地,除了智能手機、PC之外,還有學習機。過去段時間,隨著大模型的火熱,互聯網、教育公司都已經紛紛披露大
    的頭像 發表于 02-23 01:19 ?3898次閱讀

    文詳解Transformer神經網絡模型

    Transformer模型強化學習領域的應用主要是應用于策略學習和值函數近似。強化學習是指讓機器在與環境互動的過程中,通過試錯來學習最優的
    發表于 02-20 09:55 ?1.4w次閱讀
    <b class='flag-5'>一</b>文詳解Transformer神經網絡<b class='flag-5'>模型</b>

    圖解大模型RLHF系列之:人人都能看懂的PPO原理與源碼解讀

    回想下我們對NLP任務強化學習(RLHF)的目的:我們希望給模型prompt,讓
    的頭像 發表于 01-14 11:19 ?2675次閱讀
    圖解大<b class='flag-5'>模型</b>RLHF系列之:人人都能看懂的PPO原理與源碼解讀

    如何使用TensorFlow構建機器學習模型

    在這篇文章中,我將逐步講解如何使用 TensorFlow 創建簡單的機器學習模型
    的頭像 發表于 01-08 09:25 ?1010次閱讀
    如何使用TensorFlow構建機器<b class='flag-5'>學習</b><b class='flag-5'>模型</b>
    主站蜘蛛池模板: 99热久久这里只有精品视频| 国产在线观看网址你懂得 | 最近免费中文字幕完整版HD| 久久综合中文字幕佐佐木希| 99re久久免费热在线视频手机| 暖暖 日本 视频 在线观看免费 | 最近免费中文字幕完整版HD| 乱奷XXXXXHD| VIDEOSGGRATIS欧美另类| 九九热视频这里只有精| 在线日韩欧美一区二区三区| 久久精品影院永久网址| 97伦理97伦理2018最新| 日本人作爰啪啪全过程| 国产在线精品亚洲二品区| 在线观看日本污污ww网站| 青草在线在线d青草在线| 国产无遮挡又黄又爽在线视频 | 欧美男男网站免费观看videos | 红杏俱乐部| 97视频免费在线| 午夜办公室在线观看高清电影| 久久伊人久久| 国产高清视频a在线大全| 诱受H嗯啊巨肉舍友1V1| 色综合伊人色综合网站| 久久精品国产清白在天天线| 成人免费视频在线播放| 在线播放毛片| 视频专区亚洲欧美日韩| 蜜桃精品成人影片| 国内精品伊人久久久久| 超熟女专门志| 中文在线日韩亚洲制服| 无人区乱码区1卡2卡三卡在线| 麻花传媒XK在线观看| 国产一区二区在线免费观看| 成人在线观看国产| 5g天天影院天天看天天爽| 美女与男人对肌免费网站| 国产精品美女久久久网站动漫|