色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

一個LSTM被分解成垂直和水平的LSTM

OpenCV學堂 ? 來源:OpenCV學堂 ? 作者:OpenCV學堂 ? 2022-05-07 16:29 ? 次閱讀

在最近的計算機視覺研究中,ViT的出現迅速改變了各種架構設計工作:ViT利用自然語言處理中的Self-Attention實現了最先進的圖像分類性能,MLP-Mixer利用簡單的多層感知器也實現了具有競爭性的結果。相比之下,一些研究也表明,精心設計的卷積神經網絡(CNNs)可以實現媲美ViT的先進性能,而無需借助這些新想法。在這種背景下,人們對什么是適合于計算機視覺的歸納偏差越來越感興趣。

在這里,作者提出Sequencer,一個全新且具有競爭性的架構,可以替代ViT,為分類問題提供了一個全新的視角。與ViT不同,Sequencer使用LSTM(而不是Self-Attention)對遠程依賴關系進行建模。

作者還提出了一個二維的Sequencer模塊,其中一個LSTM被分解成垂直和水平的LSTM,以提高性能。

雖然結構簡單,但是經過實驗表明,Sequencer的表現令人印象深刻:Sequencer2D-L在ImageNet-1K上僅使用54M參數,實現84.6%的top-1精度。不僅如此,作者還證明了它在雙分辨率波段上具有良好的可遷移性和穩健性。

1背景

Vision Transformer成功的原因被認為是由于Self-Attention建模遠程依賴的能力。然而,Self-Attention對于Transformer執行視覺任務的有效性有多重要還不清楚。事實上,只基于多層感知器(MLPs)的MLP-Mixer被提議作為ViTs的一個有吸引力的替代方案。

此外,一些研究表明,精心設計的CNN在計算機視覺方面仍有足夠的競爭力。因此,確定哪些架構設計對計算機視覺任務具有內在的有效性是當前研究的一大熱點。本文通過提出一種新穎的、具有競爭力的替代方案,為這一問題提供了一個新的視角。

本文提出了Sequencer體系結構,使用LSTM(而不是Self-Attention)進行序列建模。Sequencer的宏觀架構設計遵循ViTs,迭代地應用Token Mixing和Channel Mixing,但Self-Attention被基于LSTMs的Self-Attention層取代。特別是,Sequencer使用BiLSTM作為一個構建塊。簡單的BiLSTM表現出一定的性能水平,而Sequencer可以通過使用類似Vision Permutator(ViP)的思想進一步提高。ViP的關鍵思想是平行處理垂直軸和水平軸。

作者還引入了2個BiLSTM,用于并行處理上/下和左/右方向。這種修改提高了Sequencer的效率和準確性,因為這種結構減少了序列的長度,并產生一個有空間意義的感受野。

在ImageNet-1K數據集上進行預訓練時,新的Sequencer架構的性能優于類似規模的Swin和ConvNeXt等高級架構。它還優于其他無注意力和無CNN的架構,如MLP-Mixer和GFNet,使Sequencer在視覺任務中的Self-Attention具有吸引力的新替代方案。

值得注意的是,Sequencer還具有很好的領域穩健性以及尺度穩定性,即使在推理過程中輸入的分辨率增加了一倍,也能強烈防止精度退化。此外,對高分辨率數據進行微調的Sequencer可以達到比Swin-B更高的精度。在峰值內存上,在某些情況下,Sequencer往往比ViTs和cnn更經濟。雖然由于遞歸,Sequencer需要比其他模型更多的FLOPs,但更高的分辨率提高了峰值內存的相對效率,提高了在高分辨率環境下的精度/成本權衡。因此,Sequencer作為一種實用的圖像識別模型也具有吸引人的特性。

2全新范式

2.1 LSTM的原理

LSTM是一種特殊的遞歸神經網絡(RNN),用于建模序列的長期依賴關系。Plain LSTM有一個輸入門,它控制存儲輸入,一個控制前單元狀態的遺忘的遺忘門,以及一個輸出門,它控制當前單元狀態的單元輸出。普通LSTM的公式如下:

3c0deb4a-cd29-11ec-bce3-dac502259ad0.png

其中σ是logistic sigmoid function,是Hadamard product。

BiLSTM對于預期相互依賴的序列是有利的。一個BiLSTM由2個普通的LSTM組成。設為輸入,為反向重排。和分別是用相應的LSTM處理和得到的輸出。設為按原順序重新排列的輸出,BiLSTM的輸出如下:

3c1be47a-cd29-11ec-bce3-dac502259ad0.png

假設和具有相同的隱藏維數D,這是BiLSTM的超參數。因此,向量h的維數為二維。

2.2 Sequencer架構

1、架構總覽

本文用LSTM取代Self-Attention層:提出了一種新的架構,旨在節省內存和參數,同時具有學習遠程建模的能力。

3c276110-cd29-11ec-bce3-dac502259ad0.png

圖2a顯示了Sequencer體系結構的整體結構。Sequencer架構以不重疊的Patches作為輸入,并將它們投影到特征圖上。Sequencer Block是Sequencer的核心組件,由以下子組件組成:

BiLSTM層可以經濟、全局地Mixing空間信息

MLP用于Channel Mixing

當使用普通BiLSTM層時,Sequencer Block稱為Vanilla Sequencer block;當使用BiLSTM2D層作為Sequencer Block時,Sequencer Block稱為Sequencer2D block。最后一個塊的輸出通過全局平均池化層送到線性分類器。

2、BiLSTM2D layer

作者提出了BiLSTM2D層作為一種有效Mixing二維空間信息的技術。它有2個普通的BiLSTM,一個垂直的BiLSTM和一個水平的BiLSTM。

對于輸入被視為一組序列,其中是垂直方向上的Token數量,W是水平方向上的序列數量,C是通道維度。所有序列都輸入到垂直BiLSTM中,共享權重和隱藏維度D:

3c57b7de-cd29-11ec-bce3-dac502259ad0.png

用與上述相似的方式,被視為一組序列,所有序列被輸入到水平BiLSTM中,共享權重和隱藏維度D:

3c664416-cd29-11ec-bce3-dac502259ad0.png

然后將合并到中,同時將合并到。最后送入FC層。這些流程制定如下:

3c766bca-cd29-11ec-bce3-dac502259ad0.png

偽代碼如下:

3c82a8b8-cd29-11ec-bce3-dac502259ad0.png

3、架構變體

為了比較由Sequencer 2D組成的不同深度的模型,本文準備了3種不同深度的模型:18、24和36。模型的名稱分別為Sequencer2D-S、Sequencer2D-M和Sequencer2D-L。隱藏維度設置為D=C/4。

3c913946-cd29-11ec-bce3-dac502259ad0.png

3ca309c8-cd29-11ec-bce3-dac502259ad0.png

3實驗

3.1 ImageNet-1K

3cdadf06-cd29-11ec-bce3-dac502259ad0.png

3.2 遷移學習

3cf029b0-cd29-11ec-bce3-dac502259ad0.png

3.3 穩健性實驗

3cff1d58-cd29-11ec-bce3-dac502259ad0.png

3.4 可視化分析

一般來說,CNN具有局部化的、逐層擴展的感受野,而沒有移動窗口的ViT捕獲的是全局依賴。相比之下,作者Sequencer不清楚信息是如何處理的。因此作者計算了ResNet-50、DeiT-S和Sequencer2D-S的ERF,如圖5所示。

3d10d2c8-cd29-11ec-bce3-dac502259ad0.png

Sequencer2D-S的ERFs在所有層中形成十字形。這一趨勢使其不同于DeiT-S和ResNet-50等著名模型。更值得注意的是,在淺層中,Sequencer2D-S比ResNet-50的ERF更寬,盡管沒有DeiT那么寬。這一觀察結果證實了Sequencer中的lstm可以像預期的那樣建模長期依賴關系,并且Sequencer可以識別足夠長的垂直或水平區域。因此,可以認為,Sequencer識別圖像的方式與CNN或ViT非常不同。

審核編輯 :李倩

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 計算機視覺
    +關注

    關注

    8

    文章

    1698

    瀏覽量

    45982
  • LSTM
    +關注

    關注

    0

    文章

    59

    瀏覽量

    3748

原文標題:CV全新范式 | LSTM在CV領域殺出一條血路,完美超越Swin與ConvNeXt等前沿算法

文章出處:【微信號:CVSCHOOL,微信公眾號:OpenCV學堂】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    RNN與LSTM模型的比較分析

    RNN(循環神經網絡)與LSTM(長短期記憶網絡)模型在深度學習領域都具有處理序列數據的能力,但它們在結構、功能和應用上存在顯著的差異。以下是對RNN與LSTM模型的比較分析: 、基本原理與結構
    的頭像 發表于 11-15 10:05 ?383次閱讀

    LSTM神經網絡與其他機器學習算法的比較

    隨著人工智能技術的飛速發展,機器學習算法在各個領域中扮演著越來越重要的角色。長短期記憶網絡(LSTM)作為種特殊的循環神經網絡(RNN),因其在處理序列數據方面的優勢而受到廣泛關注。 LSTM
    的頭像 發表于 11-13 10:17 ?606次閱讀

    深度學習框架中的LSTM神經網絡實現

    處理、語音識別和時間序列預測等領域,LSTM已經成為種流行的選擇。 LSTM的基本原理 LSTM網絡的核心是三門控機制:輸入門(Inpu
    的頭像 發表于 11-13 10:16 ?336次閱讀

    LSTM神經網絡在圖像處理中的應用

    長短期記憶(LSTM)神經網絡是種特殊的循環神經網絡(RNN),它能夠學習長期依賴關系。雖然LSTM最初是為處理序列數據設計的,但近年來,它在圖像處理領域也展現出了巨大的潛力。 LSTM
    的頭像 發表于 11-13 10:12 ?380次閱讀

    如何使用Python構建LSTM神經網絡模型

    構建LSTM(長短期記憶)神經網絡模型是涉及多個步驟的過程。以下是使用Python和Keras庫構建
    的頭像 發表于 11-13 10:10 ?333次閱讀

    如何優化LSTM神經網絡的性能

    LSTM種特殊的循環神經網絡(RNN),它能夠學習長期依賴關系,因此在序列數據處理中非常有效。然而,LSTM網絡的訓練可能面臨梯度消失或爆炸的問題,需要采取特定的策略來優化其性能。 1. 數據
    的頭像 發表于 11-13 10:09 ?540次閱讀

    LSTM神經網絡的訓練數據準備方法

    LSTM(Long Short-Term Memory,長短期記憶)神經網絡的訓練數據準備方法是關鍵步驟,它直接影響到模型的性能和效果。以下是些關于
    的頭像 發表于 11-13 10:08 ?501次閱讀

    LSTM神經網絡的結構與工作機制

    的結構與工作機制的介紹: LSTM神經網絡的結構 LSTM神經網絡的結構主要包括以下幾個部分: 記憶單元(Memory Cell) : 記憶單元是LSTM網絡的核心,負責在整個序列
    的頭像 發表于 11-13 10:05 ?329次閱讀

    LSTM神經網絡在語音識別中的應用實例

    語音識別技術是人工智能領域的重要分支,它使計算機能夠理解和處理人類語言。隨著深度學習技術的發展,特別是長短期記憶(LSTM)神經網絡的引入,語音識別的準確性和效率得到了顯著提升。 LSTM
    的頭像 發表于 11-13 10:03 ?474次閱讀

    LSTM神經網絡的調參技巧

    長短時記憶網絡(Long Short-Term Memory, LSTM)是種特殊的循環神經網絡(RNN),它能夠學習長期依賴信息。在實際應用中,LSTM網絡的調參是
    的頭像 發表于 11-13 10:01 ?531次閱讀

    LSTM神經網絡的優缺點分析

    長短期記憶(Long Short-Term Memory, LSTM)神經網絡是種特殊的循環神經網絡(RNN),由Hochreiter和Schmidhuber在1997年提出。LSTM因其在處理
    的頭像 發表于 11-13 09:57 ?1053次閱讀

    使用LSTM神經網絡處理自然語言處理任務

    自然語言處理(NLP)是人工智能領域的重要分支,它旨在使計算機能夠理解、解釋和生成人類語言。隨著深度學習技術的發展,特別是循環神經網絡(RNN)及其變體——長短期記憶(LSTM)網絡的出現
    的頭像 發表于 11-13 09:56 ?373次閱讀

    LSTM神經網絡在時間序列預測中的應用

    時間序列預測是數據分析中的重要領域,它涉及到基于歷史數據預測未來值。隨著深度學習技術的發展,長短期記憶(LSTM)神經網絡因其在處理序列數據方面的優勢而受到廣泛關注。 LSTM神經
    的頭像 發表于 11-13 09:54 ?569次閱讀

    LSTM神經網絡的基本原理 如何實現LSTM神經網絡

    LSTM(長短期記憶)神經網絡是種特殊的循環神經網絡(RNN),它能夠學習長期依賴信息。在處理序列數據時,如時間序列分析、自然語言處理等,LSTM因其能夠有效地捕捉時間序列中的長期依賴關系而受到
    的頭像 發表于 11-13 09:53 ?375次閱讀

    LSTM模型的基本組成

    的梯度消失或梯度爆炸問題。LSTM通過引入三“門”控制結構——遺忘門、輸入門和輸出門,以及記憶細胞(memory cell),實現了對信息的有效存儲和更新。本文將對
    的頭像 發表于 07-10 17:01 ?1217次閱讀
    主站蜘蛛池模板: 成人网18免费韩国| 亚洲高清国产品国语在线观看| 精品久久久久久综合网 | 麻豆天美国产一区在线播放| 国产色婷亚洲99精品AV在| 高hnp肉文| xxx粗大长欧美| 99久久久久国产精品免费| 羽月希被黑人吃奶dasd585| 亚洲欧美成人| 亚洲视频不卡| 亚洲人成网站在线播放| 亚洲欧美日韩人成| 亚洲免费在线| 亚洲中文字幕无码一久久区| 亚洲精品无码成人AAA片| 亚洲国产精品热久久| 亚洲精品天堂自在久久77| 亚洲精品AV一二三区无码| 亚洲精品m在线观看| 亚洲三级成人| 野花香HD免费高清版6高清版 | 久久亚洲AV成人无码国产漫画| 久99久热只有精品国产99| 精品四虎国产在免费观看| 久久精品视在线观看2| 久久视频这里只精品99热在线观看| 久久精品国产在热亚洲完整版| 久久精品视频在线看| 免费人成网站在线观看10分钟| 免费看欧美xxx片| 秋霞在线看片无码免费| 色噜噜狠狠一区二区三区| 天天躁夜夜踩很很踩2022| 午夜影院美女| 亚洲日韩在线观看| 18禁黄无遮挡禁游戏在线下载| BL全肉多攻NP高H| 国产AV无码熟妇人妻麻豆| 国产在线精品亚洲另类| 久久99re6国产在线播放|