色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
电子发烧友
开通电子发烧友VIP会员 尊享10大特权
海量资料免费下载
精品直播免费看
优质内容免费畅学
课程9折专享价
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

一個學習何時做分類決策的強化學習模型:Jumper

倩倩 ? 來源:雷鋒網 ? 2020-04-17 11:25 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

文本理解是自然語言處理領域的一個核心目標,最近取得了一系列的進展,包括機器翻譯、問答等。不過之前的工作大多數是關心最終的效果,而人們對于模型何時做出決定(或做決定的原因)卻知之甚少,這是一個對于理論研究和實際應用都非常重要的課題。深度好奇(DeeplyCurious.AI) 最近在IJCAI-2018上展示了一個學習何時做分類決策的強化學習模型:Jumper, 該論文將文本分類問題建模成離散的決策過程,并通過強化學習來優化,符號化表征模型的決策過程具有很好的可解釋性,同時分類效果也達到最高水平。

本文提供了一種新的框架,將文本理解建模為一個離散的決策過程。通常在閱讀過程中,人們尋找線索、進行推理,并從文本中獲取信息;受到人類認知過程的啟發,我們通過將句子逐個地遞送到神經網絡來模仿這個過程。在每個句子中,網絡基于輸入做出決策(也稱為動作),并且在該過程結束時,該決策序列可以視為是對文本有了一些“理解”。

特別一提的是,我們專注于幾個預定義子任務的文本分類問題。當我們的神經網絡讀取一個段落時,每個子任務在開始時具有默認值“無”(None)。 在每個決策步驟中,段落的句子按順序被遞送到神經網絡;之后,網絡來決定是否有足夠的信心“跳轉”到非默認值作為特定時間的預測。我們施加約束,即每次跳轉都是最終決定,它不可以在后面的閱讀中被更改。如圖1所示,給定一段話,有多個預先定義好的問題等待回答;模型按句子閱讀,在閱讀過程中,問題的答案陸續被找到。模型從默認決策到非默認決策都是一個“跳轉”的過程,正因此我們稱模型為Jumper。在人類閱讀的過程中,人們通常會獲得一致的閱讀理解的結果,但是閱讀理解過程中的很多環節卻經常是微妙和難以捉摸的。同樣,我們也假設我們的訓練標簽僅包含最終結果,并且沒有給出關于模型應該做出決定的步驟的監督信號。也就是說,我們通過強化學習在弱監督信號情況下訓練Jumper模型。

圖1 Jumper模型在閱讀段落的決策過程

Jumper模型主要由編碼層、控制器、符號輸出層構成。編碼層將句子編碼成定長的向量,控制器根據歷史和當前輸入產生當前的決定,符號輸出層使模型的輸出滿足跳轉約束,即每個決策過程最多只能有一次跳轉。

圖2 Jumper模型的基本框架

跳轉約束的作用在于使模型更加慎重地決定何時跳轉。因此,Jumper模型的優化目標有兩個,第一個是盡可能早地“跳轉”,第二個是盡可能預測準。假設t* 是最佳的跳轉時間,那么如果模型在t* 時刻之前跳轉,則模型還沒有看到真正的pattern,那么得到的答案等同于隨機猜;如果模型在t* 時刻之后跳轉,而t* +1句話可能不存在,因此沒有機會跳轉從而預測錯誤。

通過上述建模,論文把文本分類問題轉化為離散的決策過程,訓練好的Jumper輸出的離散決策過程就可以表達模型對文本的理解過程;而決策過程本身并沒有標簽,因此我們用policy gradient強化學習算法來訓練,如果最終的決定和分類標簽一致,就獎勵整個決策動作,如果不一致,則懲罰。

我們對三個任務評估了Jumper,包括兩個基準數據集和一個實際工業應用。我們首先分析了Jumper的分類準確性,并與幾個基線進行了比較。表1顯示Jumper在所有這些任務上實現了相當或更好的性能,這表明將文本分類建模為順序決策過程不僅不會損害、甚至提高了分類準確性。

表1 在電影評論數據集(MR)、新聞數據集(AG)和工傷數據集(OI)的測試集上的準確率

我們想指出,“準確性”并不是我們關注的唯一表現。更重要的是,提出的模型能夠減少閱讀過程,或者找到文本分類的關鍵支撐句。只要在閱讀過程中基于“跳轉約束”限制而看到足夠的證據,Jumper就能做出決定,并且在預測之后不需要再閱讀之后的句子。在表2中可以看到,我們的模型與強基線相比達到了相似或更高的性能,與此同時,它還將文本讀取的長度縮減了30-40%,從而加速了推斷預測。

表2

除了準確率高和推斷速度快以外,我們更好奇Jumper是否能夠在信息提取式任務(例如工傷級別分類任務)中找到正確的位置做出決策。我們在400個數據點中標注關鍵支撐句(即最佳跳轉位置)作為測試基礎。需要注意的是,在這個實驗中我們仍然沒有跳轉位置的訓練標簽。我們將Jumper與使用相同神經網絡的層級CNN-GRU模型進行比較,但在訓練方法方面有所不同;層級CNN-GRU在訓練時,用段落末尾的交叉熵作為損失函數。在測試期間,我們將預測器應用于每個步驟并找到它做出預測的第一個位置。我們還列出了一個經典CNN的結果作為基線模型,并使用了最大池化操作(max-pooling)選擇的單詞最多的那些句子來作為測試數據。我們使用了跳轉動作的準確率來評測Jumper。通過表3可知,Jumper準確地找到了測試集中所有關鍵支撐句的位置,說明我們的單跳約束迫使模型更仔細地思考何時做出決策,也驗證了強化學習是學習決策正確位置的有效方法。

表3 各模型在工傷等級分類任務(OI-Level)上尋找關鍵支撐句的效果統計。該任務的關鍵支撐句在文本中通常聚集于一處,不存在歧義,便于衡量各模型效果。CA:分類準確率,JA:跳躍準確率,OA:在分類準確條件下的跳躍準確率

圖3則顯示了Jumper在閱讀時做出決策的過程。其中,Jumper在前六個句子中保持默認決策(不做跳轉),而在到達關鍵支撐句時突然跳轉,這體現了Jumper可以識別關鍵支撐句,從而找到最佳跳躍位置。因此,在這類關鍵支撐語句集中出現時,Jumper可以在完成分類任務的同時找到關鍵支撐句,因此具有較強的可解釋性。

圖3 Jumper決策序列展示

總結

我們提出了一種新的模型Jumper,它在閱讀段落時將文本分類建模為逐個句子的順序決策過程。我們通過強化學習訓練帶有跳轉約束的Jumper,實驗表明:1) Jumper的性能與基線相當或更高;2) 它在很大程度上減少了文本閱讀量;3) 如果所需信息在文中的分布是局域性的,它可以找到關鍵的支撐句子,具有很好的可解釋性。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 控制器
    +關注

    關注

    114

    文章

    17136

    瀏覽量

    184561
  • 機器翻譯
    +關注

    關注

    0

    文章

    140

    瀏覽量

    15208
  • 自然語言處理

    關注

    1

    文章

    628

    瀏覽量

    14178
收藏 0人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    NVIDIA Isaac Lab可用環境與強化學習腳本使用指南

    Lab 是適用于機器人學習的開源模塊化框架,其模塊化高保真仿真適用于各種訓練環境,Isaac Lab 同時支持模仿學習(模仿人類)和強化學習
    的頭像 發表于 07-14 15:29 ?656次閱讀
    NVIDIA Isaac Lab可用環境與<b class='flag-5'>強化學習</b>腳本使用指南

    18常用的強化學習算法整理:從基礎方法到高級模型的理論技術與代碼實現

    本來轉自:DeepHubIMBA本文系統講解從基本強化學習方法到高級技術(如PPO、A3C、PlaNet等)的實現原理與編碼過程,旨在通過理論結合代碼的方式,構建對強化學習算法的全面理解。為確保內容
    的頭像 發表于 04-23 13:22 ?463次閱讀
    18<b class='flag-5'>個</b>常用的<b class='flag-5'>強化學習</b>算法整理:從基礎方法到高級<b class='flag-5'>模型</b>的理論技術與代碼實現

    基于RV1126開發板實現自學習圖像分類方案

    在RV1126開發板上實現自學習:在識別前對物體圖片進行模型學習,訓練完成后通過算法分類得出圖像的模型ID。 方案設計邏輯流程
    的頭像 發表于 04-21 13:37 ?11次閱讀
    基于RV1126開發板實現自<b class='flag-5'>學習</b>圖像<b class='flag-5'>分類</b>方案

    詳解RAD端到端強化學習后訓練范式

    受限于算力和數據,大語言模型預訓練的 scalinglaw 已經趨近于極限。DeepSeekR1/OpenAl01通過強化學習后訓練涌現了強大的推理能力,掀起新輪技術革新。
    的頭像 發表于 02-25 14:06 ?630次閱讀
    詳解RAD端到端<b class='flag-5'>強化學習</b>后訓練范式

    機器學習模型市場前景如何

    當今,隨著算法的不斷優化、數據量的爆炸式增長以及計算能力的飛速提升,機器學習模型的市場前景愈發廣闊。下面,AI部落小編將探討機器學習模型市場的未來發展。
    的頭像 發表于 02-13 09:39 ?380次閱讀

    淺談適用規模充電站的深度學習有序充電策略

    深度強化學習能夠有效計及電動汽車出行模式和充電需求的不確定性,實現充電場站充電成本化的目標。通過對電動汽車泊車時間和充電需求特征進行提取,建立適用于大規模電動汽車有序充電的馬爾可夫決策過程模型,并
    的頭像 發表于 02-08 15:00 ?549次閱讀
    淺談適用規模充電站的深度<b class='flag-5'>學習</b>有序充電策略

    螞蟻集團收購邊塞科技,吳翼出任強化學習實驗室首席科學家

    領域的研究與發展。令人矚目的是,邊塞科技的創始人吳翼已正式加入該實驗室,并擔任首席科學家職。 吳翼在其個人社交平臺上對這變動進行了回應。他表示,自己最近接受了螞蟻集團的邀請,負責大模型強化
    的頭像 發表于 11-22 11:14 ?1615次閱讀

    主動學習在圖像分類技術中的應用:當前狀態與未來展望

    選擇高質量的訓練數據;基于數據分布信息的算法,根據數據分布的特點來優化樣本選擇策略;優化模型預測的算法,包括優化獲取和利用深度模型預測信息的方法、基于生成對抗網絡和強化學習來優化預測模型
    的頭像 發表于 11-14 10:12 ?1332次閱讀
    主動<b class='flag-5'>學習</b>在圖像<b class='flag-5'>分類</b>技術中的應用:當前狀態與未來展望

    深度學習模型的魯棒性優化

    深度學習模型的魯棒性優化是復雜但至關重要的任務,它涉及多個方面的技術和策略。以下是些關鍵的優化方法:
    的頭像 發表于 11-11 10:25 ?1236次閱讀

    如何使用 PyTorch 進行強化學習

    強化學習(Reinforcement Learning, RL)是種機器學習方法,它通過與環境的交互來學習如何做出決策,以最大化累積獎勵。
    的頭像 發表于 11-05 17:34 ?1067次閱讀

    FPGA加速深度學習模型的案例

    FPGA(現場可編程門陣列)加速深度學習模型是當前硬件加速領域的熱門研究方向。以下是些FPGA加速深度
    的頭像 發表于 10-25 09:22 ?1279次閱讀

    AI大模型與深度學習的關系

    AI大模型與深度學習之間存在著密不可分的關系,它們互為促進,相輔相成。以下是對兩者關系的介紹: 、深度學習是AI大模型的基礎 技術支撐 :
    的頭像 發表于 10-23 15:25 ?2935次閱讀

    AI大模型與傳統機器學習的區別

    AI大模型與傳統機器學習在多個方面存在顯著的區別。以下是對這些區別的介紹: 、模型規模與復雜度 AI大模型 :通常包含數十億甚至數萬億的參
    的頭像 發表于 10-23 15:01 ?2636次閱讀

    谷歌AlphaChip強化學習工具發布,聯發科天璣芯片率先采用

    近日,谷歌在芯片設計領域取得了重要突破,詳細介紹了其用于芯片設計布局的強化學習方法,并將該模型命名為“AlphaChip”。據悉,AlphaChip有望顯著加速芯片布局規劃的設計流程,并幫助芯片在性能、功耗和面積方面實現更優表現。
    的頭像 發表于 09-30 16:16 ?712次閱讀

    【《大語言模型應用指南》閱讀體驗】+ 基礎知識學習

    語言的表達方式和生成能力。通過預測文本中缺失的部分或下一個詞,模型逐漸掌握語言的規律和特征。 常用的模型結構 Transformer架構:大語言模型通?;赥ransformer架構
    發表于 08-02 11:03
    主站蜘蛛池模板: 日本乱子人伦在线视频 | 免费无码又爽又黄又刺激网站 | 99re久久热最新地址一 | 东京热无码中文字幕av专区 | 国产精品资源网站在线观看 | 国产精品你懂的在线播放 | 把手戳进美女尿口里动态图 | 国产系列视频二区 | 天天久久影视色香综合网 | 成人免费视频一区 | 亚洲午夜AV久久久精品影院色戒 | 竹菊影视一区二区三区 | 被同桌摸出水来了好爽的视频 | 久久精品热线免费 | 99热国产这里只有精品免费 | 97视频免费上传播放 | 又黄又爽又无遮挡在线观看免费 | 一攻多受h嗯啊巨肉bl巨污 | 手机看片一区二区 | 老外的好大c的我好爽 | 色综合久久网女同蕾丝边 | 亚洲无人区码二码三码区别图 | 国产精品乱码色情一区二区视频 | 无码人妻精品一区二区蜜桃色欲 | 亚洲精品国产第一区第二区 | 国产精品在线手机视频 | 97久久无码精品AV | 午夜日本大胆裸艺术 | 小SAO货边洗澡边CAO你动漫 | 国产精品日本一区二区在线播放 | 国产成人久久AV免费看澳门 | 高清撒尿hdtube撒尿 | 美女PK精子小游戏 | 嫩草影院在线观看精品 | 看美女大腿中间的部分 | 青草在线在线d青草在线 | 调教玩弄奶头乳夹开乳震动器 | 国产99久久| 老师那里好大又粗h男男 | 久久伊人影视 | 日日夜夜狠狠干 |

    電子發燒友

    中國電子工程師最喜歡的網站

    • 2931785位工程師會員交流學習
    • 獲取您個性化的科技前沿技術信息
    • 參加活動獲取豐厚的禮品