色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
电子发烧友
开通电子发烧友VIP会员 尊享10大特权
海量资料免费下载
精品直播免费看
优质内容免费畅学
课程9折专享价
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

簡化版的XLNet在PyTorch Wrapper實現

DPVg_AI_era ? 來源:lq ? 2019-07-07 09:15 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

XLNet雖然好用,但實在太費錢了!近日,一位韓國小哥成功將簡化版的XLNet在PyTorch Wrapper實現,批規模僅為1,不再依賴谷歌爸爸的巨額算力,讓“窮人”也能用得起。

不久前,谷歌大腦和CMU聯合團隊提出面向NLP預訓練新方法XLNet,性能全面超越此前NLP領域的黃金標桿BERT,在20個任務上實現了性能的大幅提升,刷新了18個任務上的SOTA結果,可謂全面屠榜。

論文地址:

https://arxiv.org/pdf/1906.08237.pdf

XLNet性能確實強大,不過還是要背靠谷歌TPU平臺的巨額算力資源。有網友做了一下簡單統計,按照論文中的實驗設計,XL-Large用512 TPU chips訓練了4天,也就是說,訓練時的總計算量是BERT的5倍。語料規模是BERT-large的10倍。

要知道BERT作為谷歌的親兒子,其訓練量和對計算資源的需求已經讓很多人望塵莫及。現在XLNet又來了個5倍,讓人直呼用不起。

這么強勁的XLNet,只能看著流口水卻用不起,豈不是太遺憾了?

土豪有土豪的用法,窮人有窮人的訣竅。最近有個韓國小哥就成功將XLNet挪到了Pytorch框架上,可以在僅使用小規模訓練數據(批規模=1)的情況下,實現一個簡單的XLNet實例,并弄清XLNet架構的預訓練機制。他將實現方案放在了GitHub上。

要使用這個實現很簡單,只需導入如下代碼:

$ git clone https://github.com/graykode/xlnet-Pytorch && cd xlnet-Pytorch# To use Sentence Piece Tokenizer(pretrained-BERT Tokenizer)$ pip install pytorch_pretrained_bert$ python main.py --data ./data.txt --tokenizer bert-base-uncased --seq_len 512 --reuse_len 256 --perm_size 256 --bi_data True --mask_alpha 6 --mask_beta 1 --num_predict 85 --mem_len 384 --num_step 100

接下來對實現方法和超參數設置的簡單介紹,首先貼出XLNet論文中給出的預訓練超參數:

然后,作者給出了PyTorch框架下XLNet實現的超參數調節選項如下:

—data(String): 使用文本文件訓練,多行文本也可以。另外,將一個文件視為一個批張量。默認值: data.txt

—tokenizer(String):目前僅使用【這里】的Tokenizer作為子詞的Tokenizer(即將編入句子部分),這里可以選擇bert-base-uncased/bert-large-uncased/bert-base-cased/bert-large-cased四種Tokenizer。

默認值:bert-base-uncased

—seq_len(Integer): 序列長度。

默認值 :512

—reuse_len(Interger): 可作為記憶重復使用的token數量。可能是序列長度的一半。

默認值 :256

—perm_size(Interger): 最長排列長度。

默認值:256

--bi_data(Boolean): 是否設立雙向數據,如設置為“是”,biz(batch size) 參數值應為偶數。

默認值:否

—mask_alpha(Interger): 多少個token構成一個group。

默認值:6

—mask_beta(Integer):在每個group中需要mask的token數量。

默認值:1

—num_predict(Interger) :

要預測的token數量。在XLNet論文中, 這表示部分預測。

默認值:85

—mem_len(Interger): 在Transformer-XL架構中緩存的步驟數量。

默認值:384

—number_step(Interger):步驟(即Epoch)數量.。

默認值:100

XLNet:克服BERT固有局限,20項任務性能強于BERT

XLNet是一種基于新型廣義置換語言建模目標的新型無監督語言表示學習方法。此外,XLNet采用Transformer-XL作為骨架模型,在長時間環境下的語言任務中表現出非常出色的性能,在多項NLP任務性能上超越了BERT,成為NLP領域的新標桿。

關于XLNet中的一些關鍵詞

1、自回歸模型與自動編碼模型

自回歸(AR)模型

自動編碼(AE)模型

2、部分預測的排列語言建模

排列語言建模

部分預測

3、具有目標感知表示的雙向自注意力模型

雙向自注意力模型

目標感知表示

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 谷歌
    +關注

    關注

    27

    文章

    6231

    瀏覽量

    108027
  • nlp
    nlp
    +關注

    關注

    1

    文章

    490

    瀏覽量

    22599
  • pytorch
    +關注

    關注

    2

    文章

    809

    瀏覽量

    13922

原文標題:XLNet太貴?這位小哥在PyTorch Wrapper上做了個微縮版的

文章出處:【微信號:AI_era,微信公眾號:新智元】歡迎添加關注!文章轉載請注明出處。

收藏 0人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    利用Arm Kleidi技術實現PyTorch優化

    PyTorch 是一個廣泛應用的開源機器學習 (ML) 庫。近年來,Arm 與合作伙伴通力協作,持續改進 PyTorch 的推理性能。本文將詳細介紹如何利用 Arm Kleidi 技術提升 Arm
    的頭像 發表于 12-23 09:19 ?1041次閱讀
    利用Arm Kleidi技術<b class='flag-5'>實現</b><b class='flag-5'>PyTorch</b>優化

    Arm KleidiAI助力提升PyTorch上LLM推理性能

    熱門的深度學習框架尤為突出,許多企業均會選擇其作為開發 AI 應用的庫。通過部署 Arm Kleidi 技術,Arm 正在努力優化 PyTorch,以加速基于 Arm 架構的處理器上運行 LLM 的性能。Arm 通過將 Kleidi 技術直接集成到
    的頭像 發表于 12-03 17:05 ?1475次閱讀
    Arm KleidiAI助力提升<b class='flag-5'>PyTorch</b>上LLM推理性能

    PyTorch 2.5.1: Bugs修復版發布

    ? 一,前言 深度學習框架的不斷迭代中,PyTorch 社區始終致力于提供更穩定、更高效的工具。最近,PyTorch 2.5.1 版本正式發布,這個版本主要針對 2.5.0 中發現的問題進行了修復
    的頭像 發表于 12-03 16:11 ?1607次閱讀
    <b class='flag-5'>PyTorch</b> 2.5.1: Bugs修復版發布

    PyTorch 數據加載與處理方法

    PyTorch 是一個流行的開源機器學習庫,它提供了強大的工具來構建和訓練深度學習模型。構建模型之前,一個重要的步驟是加載和處理數據。 1. PyTorch 數據加載基礎
    的頭像 發表于 11-05 17:37 ?921次閱讀

    如何在 PyTorch 中訓練模型

    PyTorch 是一個流行的開源機器學習庫,廣泛用于計算機視覺和自然語言處理等領域。它提供了強大的計算圖功能和動態圖特性,使得模型的構建和調試變得更加靈活和直觀。 數據準備 訓練模型之前,首先需要
    的頭像 發表于 11-05 17:36 ?915次閱讀

    如何使用 PyTorch 進行強化學習

    的計算圖和自動微分功能,非常適合實現復雜的強化學習算法。 1. 環境(Environment) 強化學習中,環境是一個抽象的概念,它定義了智能體(agent)可以執行的動作(actions)、觀察到
    的頭像 發表于 11-05 17:34 ?1017次閱讀

    使用PyTorch英特爾獨立顯卡上訓練模型

    PyTorch 2.5重磅更新:性能優化+新特性》中的一個新特性就是:正式支持英特爾獨立顯卡上訓練模型!
    的頭像 發表于 11-01 14:21 ?2029次閱讀
    使用<b class='flag-5'>PyTorch</b><b class='flag-5'>在</b>英特爾獨立顯卡上訓練模型

    CapTIvate?技術指南–簡化版

    電子發燒友網站提供《CapTIvate?技術指南–簡化版.pdf》資料免費下載
    發表于 10-29 09:42 ?6次下載
    CapTIvate?技術指南–<b class='flag-5'>簡化版</b>

    Pytorch深度學習訓練的方法

    掌握這 17 種方法,用最省力的方式,加速你的 Pytorch 深度學習訓練。
    的頭像 發表于 10-28 14:05 ?645次閱讀
    <b class='flag-5'>Pytorch</b>深度學習訓練的方法

    LDO PSRR測量簡化版

    電子發燒友網站提供《LDO PSRR測量簡化版.pdf》資料免費下載
    發表于 10-18 09:23 ?0次下載
    LDO PSRR測量<b class='flag-5'>簡化版</b>

    pytorch怎么pycharm中運行

    第一部分:PyTorch和PyCharm的安裝 1.1 安裝PyTorch PyTorch是一個開源的機器學習庫,用于構建和訓練神經網絡。要在PyCharm中使用PyTorch,首先需
    的頭像 發表于 08-01 16:22 ?2493次閱讀

    pycharm如何調用pytorch

    與PyCharm結合使用,可以提高開發效率和代碼質量。 安裝PyTorch 2.1 檢查Python版本 安裝PyTorch之前,請確保您的Python版本為3.6或更高。可以通過以下命令檢查
    的頭像 發表于 08-01 15:41 ?1204次閱讀

    pytorch環境搭建詳細步驟

    、創建虛擬環境、安裝PyTorch及其依賴庫、配置PyCharm等。 一、安裝Anaconda Anaconda是一個開源的Python和R語言的分布式版本控制系統,旨在簡化包管理和部署。它包含
    的頭像 發表于 08-01 15:38 ?1838次閱讀

    PyTorch深度學習開發環境搭建指南

    PyTorch作為一種流行的深度學習框架,其開發環境的搭建對于深度學習研究者和開發者來說至關重要。Windows操作系統上搭建PyTorch環境,需要綜合考慮多個方面,包括軟件安裝、環境配置以及版本兼容性等。以下是一個詳細的
    的頭像 發表于 07-16 18:29 ?2473次閱讀

    PyTorch中搭建一個最簡單的模型

    PyTorch中搭建一個最簡單的模型通常涉及幾個關鍵步驟:定義模型結構、加載數據、設置損失函數和優化器,以及進行模型訓練和評估。
    的頭像 發表于 07-16 18:09 ?2801次閱讀
    主站蜘蛛池模板: qovd电影 | 久久一er精这里有精品 | 亚洲高清国产拍精品动图 | 俄罗斯少女人体 | 永久精品视频无码一区 | 成人在线免费视频观看 | 高清观看ZSHH96的视频素材 | 蜜芽tv在线观看免费网站 | 日本VA在线视频播放 | 久久4k岛国高清一区二区 | 5g在视影讯天天5g免费观看 | 漂亮的保姆3集电影免费观看中文 | 久久丫线这里只精品 | 色琪琪无码成人AV视频 | 手机免费毛片 | 伊人大香人妻在线播放 | 国产成年人在线观看 | 手机伊在人线香蕉2 | 国产精品第一综合首页 | 欧美 亚洲 有码中文字幕 | 寂寞夜晚免费观看视频 | 韩国电影久久 | 伊人免费在线 | 国产精品97久久久久久AV色戒 | 三色午夜秀| 伊人色啪啪天天综合婷婷 | 亚洲第一国产 | 日韩在线 无码 精品 | 成人免费公开视频 | 老师别揉我胸啊嗯小说 | 久久精品九九亚洲精品天堂 | 亚洲免费视频观看 | 诱人的秘书BD在线观看 | 国产成人亚洲精品午夜国产馆 | 与嫂子同居的日子在线观看 | 亚洲精品国产在线观看 | 国产爱豆果冻传媒在线观看视频 | 久久国产精品永久网站 | 色偷偷网址 | 99re6久久在热线视频 | 双腿被绑成M型调教PLAY照片 |

    電子發燒友

    中國電子工程師最喜歡的網站

    • 2931785位工程師會員交流學習
    • 獲取您個性化的科技前沿技術信息
    • 參加活動獲取豐厚的禮品