色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

如何顯著提升Vision Transformer的訓練效率

深度學習自然語言處理 ? 來源:GiantPandaCV ? 作者:GiantPandaCV ? 2022-05-24 10:46 ? 次閱讀

近期MetaAI發布了一篇博客,關于如何顯著提升Vision Transformer的訓練效率。

原文:[Significantly faster Vision Transformer training]

鏈接:https://ai.facebook.com/blog/significantly-faster-vision-transformer-training

What the research is

Vision Transformer模型幾乎火遍計算機視覺各個領域,其性能隨著參數增加和更久的訓練過程而得到提升。隨著模型越來越大,超過了萬億次浮點運算的規模,該領域達到了瓶頸:訓練一個模型往往要一個月,需要幾百上千個GPU,導致大部分人無法接觸到大規模ViT模型,并進而增加了對加速器的需求。

為了降低門檻,讓更多人能夠應用ViT,我們開發一系列方法來加速整個訓練。我們基于MetaAI的圖像分類模型庫PyCls實現了一系列優化,這些優化極大的提升了模型訓練過程的吞吐量:

d3d58a30-da96-11ec-ba43-dac502259ad0.png

How it works ?

我們首先對代碼庫進行分析,以定位訓練效率低下的原因,最后關注點落在計算類型上:大部分模型都是用FP32進行訓練,如果使用FP16訓練的話,可以降低顯存占用,并提高模型訓練速度,但這一做法經常會導致準確率下降

所以我們選了一個折中的方法:自動混合精度。在該方法下,我們用half類型進行計算,以加快訓練,減少顯存使用。并以fp32類型存儲參數,以保證模型準確率。其中我們沒有手動將網絡各部分轉換成half類型,而是應用AMP各種模式(如O1, O2, O3),以尋找一個既能提升速度又不影響精度的平衡點。

FSDP

為了讓訓練更加高效,我們應用了FSDP訓練策略,他能夠將參數,梯度,優化器狀態分片到各GPU上。在FSDP的幫助下,我們可以用更少的GPU資源構建更大的模型。

FSDP策略可以參考 [數據并行Deep-dive: 從DP 到 Fully Sharded Data Parallel (FSDP)完全分片數據并行] 鏈接:https://zhuanlan.zhihu.com/p/485208899

MTA Optimizer

前向計算完畢后,優化器需要對各個參數進行修改。而當參數比較多的情況下,對應啟動的Optimizer Kernel就會變得很多,通常這些Kernel都比較小,計算負擔不大,啟動Kernel的開銷反而占了大頭。

ContiguousParams中,它將模型參數放置到一塊連續的顯存中進行計算,這樣就能減少優化器這部分的時間。下圖是Resnet50+SGD是否應用ContiguousParams的比較,可以看到OptimizerStep這部分時間顯著減少了。

d4089a74-da96-11ec-ba43-dac502259ad0.png

而NVIDIA的Apex庫的做法則是在底層重新實現了一系列MultiTensorOptimizer,如Adam, Adagrad等等。

Apex這種方法比較硬核,普通用戶如果想要自己自定義優化器并應用Multi Tensor的優化,就必須改動底層CUDA代碼。而最近PyTorch也在計劃提供了一系列foreach接口[Replace optimizers in torch.optim with the ones from torch.optim._multi_tensor] 鏈接:https://github.com/pytorch/pytorch/pull/49039,讓用戶只需要在Python層即可享受到優化,對應的MultiTensor版Momentum優化器代碼如下所示:

torch._foreach_mul_(bufs,momentum)
torch._foreach_add_(bufs,grads,alpha=1-dampening)

Pooled Classifier

原版的ViT是額外加了一個分類token,來輸出最后的分類結果。而這里采用平均池化 如:https://github.com/facebookresearch/pycls/blob/main/pycls/core/config.py#L205 處理最后的分類

Batch Second Input Tensor Layout

這里的數據格式與以往不同,將batch維度放在第二維,并在調用nn.MultiheadAttention的時候,設置batch_first=False,以減少不必要的轉置

ifself.batch_firstandis_batched:
returnattn_output.transpose(1,0),attn_output_weights
else:
returnattn_output,attn_output_weights

總感覺這個實現怪怪的

其他優化

我們在采取560大小的batchsize下,達到了1.51倍的加速比,進一步的我們將batchsize設置為384,并將圖片大小增大到256,達到了1.86倍加速比。在全FP16運算下,能夠達到2.18倍加速比,盡管這偶爾會降低準確率(在實驗中,準確率降低不到10%)。

d451532c-da96-11ec-ba43-dac502259ad0.png

使用上述優化,我們將Imagenet1K數據集每epoch訓練時間從0.65小時降低到0.43小時

d4786106-da96-11ec-ba43-dac502259ad0.png

我們還研究了不同GPU配置對訓練速度的影響,在不同配置下我們都實現了比DDP baseline更高的吞吐量。隨著GPU增加,吞吐量會因為設備之間的通信開銷略微下降。然而即使在64塊GPU下,我們仍然比DDP基線快1.83倍

d4c4af7a-da96-11ec-ba43-dac502259ad0.png

文中鏈接

PyCls :https://github.com/facebookresearch/pycls

ContiguousParams:https://github.com/PhilJd/contiguous_pytorch_params

Adam:https://github.com/NVIDIA/apex/blob/master/csrc/multi_tensor_adam.cu

審核編輯 :李倩



聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 加速器
    +關注

    關注

    2

    文章

    799

    瀏覽量

    37842
  • Vision
    +關注

    關注

    1

    文章

    196

    瀏覽量

    18174

原文標題:如何更快地訓練Vision Transformer

文章出處:【微信號:zenRRan,微信公眾號:深度學習自然語言處理】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    RFID技術賦能民兵裝備管理,倉儲效率顯著提升

    民兵裝備倉儲管理平臺的三層架構通過緊密合作,實現了裝備物資的高效管理和安全儲存。這一架構不僅顯著提高了管理效率,還有效降低了運營成本,為我國民兵部隊提供了堅強可靠的后勤保障。
    的頭像 發表于 12-23 14:29 ?11次閱讀
    RFID技術賦能民兵裝備管理,倉儲<b class='flag-5'>效率</b><b class='flag-5'>顯著</b><b class='flag-5'>提升</b>

    微軟預覽版Copilot Vision AI功能上線

    微軟公司近日宣布,將面向美國地區的Copilot Pro用戶推出預覽版的Copilot Vision AI功能。這一創新功能旨在通過人工智能技術,進一步提升用戶的網頁瀏覽體驗。 Copilot
    的頭像 發表于 12-09 14:38 ?258次閱讀

    自動駕駛中一直說的BEV+Transformer到底是個啥?

    感知、理解和預測方面表現得更為強大,徹底終結了2D直視圖+CNN時代。BEV+Transformer通過鳥瞰視角與Transformer模型的結合,顯著提升了自動駕駛
    的頭像 發表于 11-07 11:19 ?368次閱讀
    自動駕駛中一直說的BEV+<b class='flag-5'>Transformer</b>到底是個啥?

    提升效率:RTC時鐘實用設置

    今天來給大家講解的是RTC時鐘實用性,提升絕對的效率
    的頭像 發表于 11-04 16:35 ?778次閱讀
    <b class='flag-5'>提升</b><b class='flag-5'>效率</b>:RTC時鐘實用設置

    NVIDIA助力麗蟾科技打造AI訓練與推理加速解決方案

    麗蟾科技通過 Leaper 資源管理平臺集成 NVIDIA AI Enterprise,為企業和科研機構提供了一套高效、靈活的 AI 訓練與推理加速解決方案。無論是在復雜的 AI 開發任務中,還是在高并發推理場景下,都能夠確保項目的順利進行,并顯著
    的頭像 發表于 10-27 10:03 ?210次閱讀
    NVIDIA助力麗蟾科技打造AI<b class='flag-5'>訓練</b>與推理加速解決方案

    英偉達推出歸一化Transformer,革命性提升LLM訓練速度

    了新的突破。 相較于傳統的Transformer架構,nGPT在保持原有精度的同時,直接將大型語言模型(LLM)的訓練速度提升了高達20倍。這一顯著的性能
    的頭像 發表于 10-23 11:30 ?370次閱讀

    【《大語言模型應用指南》閱讀體驗】+ 基礎知識學習

    、機器翻譯、文本生成等領域具有廣泛應用。它們能夠基于用戶的提問或描述生成相關的答案或執行指令,極大地提升了信息檢索和利用的效率。 2. 局限性 盡管大語言模型在自然語言理解方面取得了顯著進展,但它們仍然存在
    發表于 08-02 11:03

    Transformer能代替圖神經網絡嗎

    Transformer作為一種在處理序列數據方面表現出色的深度學習模型,自其提出以來,已經在自然語言處理(NLP)、時間序列分析等領域取得了顯著的成果。然而,關于Transformer是否能完全代替圖神經網絡(GNN)的問題,需
    的頭像 發表于 07-12 14:07 ?446次閱讀

    使用PyTorch搭建Transformer模型

    Transformer模型自其問世以來,在自然語言處理(NLP)領域取得了巨大的成功,并成為了許多先進模型(如BERT、GPT等)的基礎。本文將深入解讀如何使用PyTorch框架搭建Transformer模型,包括模型的結構、訓練
    的頭像 發表于 07-02 11:41 ?1603次閱讀

    進一步解讀英偉達 Blackwell 架構、NVlink及GB200 超級芯片

    。 算力:各種浮點計算能力在新一代GPU中得到了顯著提升。 3. 創新功能 Transformer 引擎:第二代引擎顯著提高了計算、帶寬和模型大小
    發表于 05-13 17:16

    【大語言模型:原理與工程實踐】大語言模型的基礎技術

    Transformer有效避免了CNN中的梯度消失和梯度爆炸問題,同時提高了處理長文本序列的效率。此外,模型編碼器可以運用更多層,以捕獲輸入序列中元素間的深層關系,并學習更全面的上下文向量表示。 預訓練語言模型
    發表于 05-05 12:17

    工業觸摸顯示屏在提升生產效率、降低成本等方面具有顯著優勢

     工業觸摸顯示屏在提升生產效率、降低成本等方面發揮著顯著的作用。具體來說,其主要優勢體現在以下幾個方面。
    的頭像 發表于 04-23 10:16 ?478次閱讀

    景嘉微AI訓練等領域智算模塊及整機研發成功,速度提升顯著

    據悉,景嘉微此舉旨在大范圍地拓展AI推理、訓練以及科學計算等業務,顯著提升自身核心競爭力,穩固在相關領域內的市場地位。除此之外,新產品的發布還被公司視為推動實施長遠發展戰略的重要步驟。
    的頭像 發表于 03-14 15:19 ?865次閱讀

    螞蟻集團AI研發部門開源AI Infra技術,助力大模型訓練效率提升

    螞蟻集團AI創新研發部門NextEvo近日宣布,他們將全面開源AI Infra技術,以推動AI研發效率提升。該技術框架名為DLRover,目標在于實現大規模分布式訓練的智能化。
    的頭像 發表于 02-04 10:01 ?1071次閱讀

    Transformer壓縮部署的前沿技術:RPTQ與PB-LLM

    隨著人工智能技術的迅速發展,Transformer在自然語言處理、機器翻譯、問答系統等領域取得了顯著的性能提升
    的頭像 發表于 01-24 14:05 ?1188次閱讀
    <b class='flag-5'>Transformer</b>壓縮部署的前沿技術:RPTQ與PB-LLM
    主站蜘蛛池模板: 国产精品亚洲精品久久国语| 国内高清在线观看视频| 狠狠色丁香婷婷久久综合五月| 久久久无码AV精品亚洲A片软件| 青青青草国产| 亚洲日韩在线天堂一| qvod免费电影| 好爽胸大好深好多水| 女性爽爽影院免费观看| 亚洲AV无码专区国产精品麻豆| 91免费精品国自产拍在线可以看| 国产成人无码精品久久久按摩| 久久亚洲国产中文字幕| 色多多污网站在线观看| 正在播放一区二区| 国产精品玖玖玖影院| 免费a视频在线观看| 亚洲m男在线中文字幕| A片毛片免费视频在线看| 国产亚洲精品欧洲在线视频| 欧美日韩在线成人看片a| 亚洲午夜福利未满十八勿进| 成人影片迅雷下载| 看电影就来5566先锋av| 无码国产色欲XXXX视频| 99热在线视频| 久久精品动漫99精品动漫| 丝袜情趣在线资源二区| 99热这里有精品| 久久机热免费视频| 午夜一区欧美二区高清三区| 扒开老师大腿猛进AAA片软件| 久久 这里只精品 免费| 偷拍国产精品在线播放| music radio在线收听| 久久一本岛在免费线观看2020| 午夜AV内射一区二区三区红桃视| beeg日本老师按摩| 久久综合丁香激情久久| 亚洲国产精品一区二区久久第| 国产99对白在线播放|