色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

基于超大感受野注意力的超分辨率模型

CVer ? 來源:AIWalker ? 作者:AIWalker ? 2022-10-27 13:55 ? 次閱讀

注意力機制是深度學習領域非常重要的一個研究方向,在圖像超分領域也有不少典型的應用案例,比如基于通道注意力構建的RCAN,基于二階注意力機制構建的SAN,基于像素注意力機制構建的PAN,基于Transformer自注意力機制構建的SwinIR,基于多尺度大核注意力的MAN等。

本文則以PAN為藍本,對其進行逐步改進以期達到更少的參數量、更高的超分性能。該方案具體包含以下幾個關鍵點:

  • 提升注意力分割的感受野,類似大核卷積注意力VAN;
  • 將稠密卷積核替換為深度分離卷積,進一步降低參數量;
  • 引入像素規范化(Pixel Normalization)技術,其實就是Layer Normalization,但出發點不同。

上述關鍵技術點為注意力機制的設計提供了一個清晰的演變路線,最終得到了本文的VapSR,即大感受像素注意力網絡(VAst-receptive-field Pixel attention Network)。

實驗結果表明:相比其他輕量超分網絡,VapSR具有更少的參數量。比如,項目IMDB與RFDN,VapSR僅需21.68%、28.18%的參數即可取得與之相當的性能。

本文動機

通過引入像素注意力,PAN在大幅降低參數量的同時取得了非常優秀的性能。相比通道注意力與空域注意力,像素注意力是一種更廣義的注意力形式,為進一步的探索提供了一個非常好的基線。

受啟發于自注意力的發展,我們認為:基于卷積操作的注意力仍有進一步改進的空間。因此,作者通過以下三個像素注意力中的設計原則展示了改善超分注意力的過程:

  • 首先,在注意力分支引入大核卷積具有明顯的優勢;
  • 其次,深度分離卷積可以降低大核卷積導致的巨大計算復雜度問題;
  • 最后,引入像素規范化操作讓訓練更高效、更穩定。
367cec1e-55b7-11ed-a3b6-dac502259ad0.jpg

**Large Kernel **以上圖i中的baseline為基礎,作者首先對注意力分支進行感受野擴增:將提升到(將圖示ii),性能提升0.15dB,但參數量從846K提升到了4123K。

Parameter Reduction 為降低參數量,我們嘗試盡可能移除相對不重要的部分。作者提出了三個方案:(1) 將非注意力分支的卷積尺寸從下調到;(2) 將大核卷積注意力分支替換為深度深度分離卷積;(3) 將深度分離卷積中的深度卷積進行分解為深度卷積+帶擴張因子的深度卷積(該機制可參考下圖,將卷積拆分為+,其中后者的擴張因子為3)。此時,模型性能變為28.48dB,但參數量降到了240K,參數量基本被壓縮到了極限。

368720e4-55b7-11ed-a3b6-dac502259ad0.jpg

Pixel Normalization(PN) 注意力機制的元素乘操作會導致訓練不穩定問題:小學習率收斂不夠好,大學習率又會出現梯度異常。前面的注意力改進導致所得方案存在性能下降問題。為解決該問題,作者經深入分析后提出了像素規范化技術(可參考下圖不同規范化技術的可視化對比)。

36997258-55b7-11ed-a3b6-dac502259ad0.jpg

假設輸入特征為,第i個像素的特征均值與方差可以描述如下:

那么,像素規范化可以表示為:

當引入PN后,模型的性能取得了顯著的提升,達到了28.92dB,參數量僅為241K。

Switch Attention to Middle 在上述基礎上,作者進一步將注意力的位置進行了調整,放到了兩個卷積中間。此時,模型性能得到了0.03dB提升,達到了28.95dB,參數量仍為241K。

本文方案

前面的探索主要聚焦在微觀層面,基于此,作者進一步在宏觀層面進行了更多設計與提煉,進而構建了VapSR,取得了更佳的性能,同時具有更少的參數量。

36c0b368-55b7-11ed-a3b6-dac502259ad0.jpg

上圖給出了所提VapSR架構示意圖,延續了常規輕量方案的設計思路:

  • 淺層特征:;
  • 非線性映射: ;
  • 圖像重建:

VAB模塊在前面探索得到的模塊上進行了微調:(1) 主要是將模塊輸入與輸出通道數從64減少到了48,保持中間注意力部分的通道數仍為64;(2) 將注意力分支深度擴張卷積(有時也稱之為空洞卷積)調整為深度擴張卷積,此時感受野為;(3) 調整了注意力分支三個卷積的順序,將卷積移到最前面。對于VapSR-S,作者進一步將部分從卷積調整為組卷積(group=2),該操作可以進一步降低參數量。

classAttention(nn.Module):
def__init__(self,dim):
super().__init__()
self.pointwise=nn.Conv2d(dim,dim,1)
self.depthwise=nn.Conv2d(dim,dim,5,padding=2,groups=dim)
self.depthwise_dilated=nn.Conv2d(dim,dim,5,1,padding=6,groups=dim,dilation=3)

defforward(self,x):
u=x.clone()
attn=self.pointwise(x)
attn=self.depthwise(attn)
attn=self.depthwise_dilated(attn)
returnu*attn

classVAB(nn.Module):
def__init__(self,d_model,d_atten):
super().__init__()
self.proj_1=nn.Conv2d(d_model,d_atten,1)
self.activation=nn.GELU()
self.atten_branch=Attention(d_atten)
self.proj_2=nn.Conv2d(d_atten,d_model,1)
self.pixel_norm=nn.LayerNorm(d_model)
default_init_weights([self.pixel_norm],0.1)

defforward(self,x):
shorcut=x.clone()
x=self.proj_1(x)
x=self.activation(x)
x=self.atten_branch(x)
x=self.proj_2(x)
x=x+shorcut

x=x.permute(0,2,3,1)#(B,H,W,C)
x=self.pixel_norm(x)
x=x.permute(0,3,1,2).contiguous()#(B,C,H,W)

returnx

本文實驗

在實驗部分,作者構建了VapSR與VapSR-S兩個版本的輕量型超分方案:

  • VapSR:包含21個VAB模塊,主干通道數為48;
  • VapSR-S:包含11個VAB模塊,主干通道數為32。

此外,需要注意的是:對于X4模型,重建模塊并未采用常規的輕量方案(Conv+PS),而是采用了類EDSR的重方案(Conv+PS+Conv+PS)。

36e349a0-55b7-11ed-a3b6-dac502259ad0.jpg37744252-55b7-11ed-a3b6-dac502259ad0.jpg378c5568-55b7-11ed-a3b6-dac502259ad0.jpg

上表&圖給出了不同方案的性能與可視化效果對比,從中可以看到:

  • 所提VapSR取得了SOTA性能,同時具有非常少的參數量。
  • 在X4任務上,相比RFDN與IMDN,VapSR僅需21.68%/28.18%的參數量,即可取得平均0.187dB指標提升;
  • VapSR-S取得了與BSRN-S相當的性能,后者是NTIRE2022-ESR模型復雜度賽道冠軍。
  • 在線條重建方面,VapSR具有比其他方案更精確的重建效果。

審核編輯 :李倩


聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 分辨率
    +關注

    關注

    2

    文章

    1068

    瀏覽量

    41962
  • 模型
    +關注

    關注

    1

    文章

    3261

    瀏覽量

    48914
  • 深度學習
    +關注

    關注

    73

    文章

    5507

    瀏覽量

    121272

原文標題:董超團隊提出VapSR:基于超大感受野注意力的超分辨率模型

文章出處:【微信號:CVer,微信公眾號:CVer】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    如何提高透鏡成像的分辨率

    透鏡成像分辨率是指透鏡系統能夠分辨的最小細節的能力。提高透鏡成像分辨率對于許多應用領域,如顯微鏡、望遠鏡、相機等,都是至關重要的。以下是一些提高透鏡成像分辨率的方法: 1. 減少像差
    的頭像 發表于 12-25 16:54 ?353次閱讀

    如何選擇掃描電鏡的分辨率

    選擇掃描電鏡的分辨率需要綜合考慮多個因素。首先是研究目的。如果只是需要對樣品的大致形貌進行觀察,例如查看較大顆粒的分布或者材料表面的宏觀缺陷,較低分辨率(如3-10nm)可能就足夠了。但如果要觀察
    的頭像 發表于 12-25 14:29 ?203次閱讀
    如何選擇掃描電鏡的<b class='flag-5'>分辨率</b>?

    HDMI接口支持哪些視頻分辨率

    HDMI(High-Definition Multimedia Interface)接口支持的視頻分辨率因版本不同而有所差異。以下是HDMI接口不同版本所支持的視頻分辨率的概述: HDMI 1.4
    的頭像 發表于 11-27 14:14 ?2168次閱讀

    視頻處理器的分辨率是如何管理的

    ? ? 隨著電子應用技術和消費市場的不斷發展,LED顯示屏的顯示單元之間的間距正在逐漸縮小,然而,顯示屏的整體面積卻在不斷擴大。為了滿足這一趨勢下對超大輸出分辨率的需求,視頻處理器和拼接器變得
    的頭像 發表于 11-11 15:25 ?290次閱讀
    視頻處理器的<b class='flag-5'>分辨率</b>是如何管理的

    微軟發布DirectSR新預覽版:整合FSR 3.1分辨率技術

    微軟近期發布了一項專為游戲開發者設計的全新API技術——DirectSR的預覽版。這項技術的核心在于,它能夠幫助開發者在開發過程中一次性兼容當前市場上的主流分辨率技術,極大地簡化了開發流程
    的頭像 發表于 10-25 13:54 ?232次閱讀

    提高SAR ADC的分辨率

    電子發燒友網站提供《提高SAR ADC的分辨率.pdf》資料免費下載
    發表于 10-25 09:11 ?0次下載
    提高SAR ADC的<b class='flag-5'>分辨率</b>

    Arm精銳超級分辨率技術解析

    近日,Arm 推出了 Arm 精銳超級分辨率技術 (Arm Accuracy Super Resolution, Arm ASR),這是一款面向移動設備進行優化升級的出色開源超級分辨率(下文簡稱“分”)解決方案。本文將為你介紹
    的頭像 發表于 09-03 11:28 ?974次閱讀
    Arm精銳超級<b class='flag-5'>分辨率</b>技術解析

    什么是高分辨率示波器?它有哪些優勢?

    分辨率示波器是一種在信息與系統科學相關工程與技術領域中廣泛應用的科學儀器,其設計旨在提供更高的信號分辨率和更精細的信號分析能力。以下是對高分辨率示波器的詳細解析,包括其定義、優勢以及可能涉及的多個方面。
    的頭像 發表于 08-08 11:49 ?1007次閱讀

    VR顯示器分辨率的選擇

    顯示器能夠提供更加清晰、細膩的畫面,讓用戶在虛擬現實世界中獲得更加真實的感受。 1.2 分辨率與舒適度 除了視覺體驗外,分辨率還與用戶的舒適度密切相關。低分辨率的VR顯示器容易產生紗窗
    的頭像 發表于 07-08 10:29 ?1130次閱讀

    基于CNN的圖像分辨率示例

    考慮單個低分辨率圖像,首先使用雙三次插值將其放大到所需的大小,這是執行的唯一預處理。將插值圖像表示為Y。我們的目標是從Y中恢復與真實高分辨率圖像X盡可能相似的圖像F (Y) 。
    的頭像 發表于 03-11 11:40 ?718次閱讀
    基于CNN的圖像<b class='flag-5'>超</b><b class='flag-5'>分辨率</b>示例

    華為pockets屏幕分辨率是多少

    華為Pocket S的內屏分辨率是2790×1188,外屏分辨率為340×340。該手機采用了6.9英寸的柔性OLED屏幕,支持120Hz刷新、1440Hz高頻PWM調光,色彩表現達到10.7億色,同時還配備了防反光納米光學膜
    的頭像 發表于 03-06 17:37 ?1184次閱讀

    EVAL_PASCO2_SENSOR為什么無法從較低的分辨率高速獲得更高的分辨率

    我有一個圖像 EVAL_PASCO2_SENSOR,支持高達 3840x2160 分辨率的超高速和高速。 我能以快的速度拍攝所有靜止畫面。 但是,當我嘗試獲得更高分辨率(3840x2160)的靜態
    發表于 02-22 07:58

    編碼器分辨率是什么意思 編碼器分辨率和脈沖數的關系

    按照編碼器支持的分辨率可以把編碼器分成標清編碼器、高清編碼器、全高清編碼器,分辨率越高幀率越高視頻就越清楚。 1.編碼器的分辨率是什么意思 編碼器的分辨率是指編碼器以每旋轉360度提供
    的頭像 發表于 02-21 18:07 ?4328次閱讀
    編碼器<b class='flag-5'>分辨率</b>是什么意思 編碼器<b class='flag-5'>分辨率</b>和脈沖數的關系

    電容觸摸屏的分辨率怎么調

    電容觸摸屏的分辨率調整是通過調整觸摸屏的控制器的參數來實現的。觸摸屏的分辨率是指能夠在屏幕上識別的最小觸摸點的像素數量。分辨率越高,觸摸屏可以更準確地檢測和響應用戶的操作。 在調整電容觸摸屏的
    的頭像 發表于 01-23 16:59 ?2024次閱讀

    鏡頭分辨率簡述

    分辨率可以從顯示分辨率與圖像分辨率兩個方向來分類。
    的頭像 發表于 01-15 11:12 ?960次閱讀
    主站蜘蛛池模板: 国产区在线不卡视频观看| 国内九一激情白浆发布| 99热国产这里只有精品6| 777久久人妻少妇嫩草AV| 97色伦在色在线播放| cctv论坛| 俄罗斯6一12呦女精品| 国产国产乱老熟视频网站| 国产欧美精品一区二区三区-老狼| 国精产品一区一区三区有限 | 无套内射无矿码免费看黄| 亚洲国产黄色| 伊人久久综在合线亚洲| 98国产精品人妻无码免费| 成a人片亚洲日本久久| 国产久久热99视频| 久久精品国产亚洲AV久五月天| 免费观看视频成人国产| 日本高清免费在线观看| 亚洲 国产 日韩 欧美 在线| 越南女 黑人 痛苦 大叫| Chineseman瘦老头77| 国产精品熟女人妻| 久久精品天天爽夜夜爽| 欧美亚洲日韩自拍高清中文| 午夜色网站| 自拍区偷拍亚洲视频| 德国美女密密麻麻浓毛| 嗨嗨快播电影| 欧美18videosex| 亚洲 日韩 自拍 视频一区| 中文无码在线观| 处xxxx.88| 久久国产综合精品欧美| 全黄H全肉细节文短篇| 亚洲精品视频观看| a级老头和老太xxxx| 国产午夜亚洲精品一区| 暖暖 视频 在线 观看 高清| 亚洲 欧美 制服 校园 动漫| 98久久人妻少妇激情啪啪|