縮放算法，尤其是放大算法，將原先沒有的像素，通過一定的算法計(jì)算出來。這些算法常用的有最近鄰域算法，雙線性插值算法，雙三線性插值算法等。基于插值的算法可以有效考慮插值范圍內(nèi)的信息，易于硬件實(shí)現(xiàn)，通過合理設(shè)計(jì)定點(diǎn)化可以實(shí)現(xiàn)充分的硬件并行。但是領(lǐng)域信息，同樣限制了大部分插值算法不能充分考慮原始圖像的“高層語義”信息，這里的語義信息是指圖像含有的紋理模式，例如交疊、彎曲等。

本節(jié)將介紹基于深度學(xué)習(xí)（Deep learning，DL）的縮放算法（DL-SR），可以借助模型更大的參數(shù)映射能力、感知野與反向傳播，實(shí)現(xiàn)對低分辨率和高分辨率的關(guān)聯(lián)強(qiáng)化。同時，考慮訓(xùn)練目標(biāo)和結(jié)構(gòu)差異，DL-SR還可以實(shí)現(xiàn)在分辨率提升的同時轉(zhuǎn)換顯示效果。但是基于深度學(xué)習(xí)的方法也存在存儲與硬件資源消耗都比插值方法更大的趨勢，該趨勢在對效果的不懈追求中越發(fā)明顯。 雖然DL呈現(xiàn)模塊化和集成化的趨勢，但是DL-SR與其他基于DL的CV任務(wù)還是有明顯的區(qū)分。DL-SR一方面在效果上展現(xiàn)了比經(jīng)典插值算法更大的改進(jìn)，另一方面也拓展了SR的應(yīng)用領(lǐng)域，目前DL-SR仍然是一個開放課題，諸多大型科技公司投入了資源進(jìn)行研究。

1.基于深度學(xué)習(xí)的縮放算法基礎(chǔ)

考慮到圖像紋理和變化的多樣性，基于插值的縮放算法多采用基于歐氏距離生成的權(quán)重，其模板仍有提升的空間。在DL模塊化之后，Dong等人通過建模發(fā)現(xiàn)深度學(xué)習(xí)的算子通過組合,可以形成對經(jīng)典方法的近似[1]。通過通道擴(kuò)展實(shí)現(xiàn)對淺層特征的提取，利用卷積與非線性算子（relu，leaky relu等）實(shí)現(xiàn)對特征的重映射，最后疊加上采樣層實(shí)現(xiàn)對特征的融合重構(gòu)，如下圖所示。

圖1

這其中前兩者正是DL擅長的領(lǐng)域，DL的通道數(shù)可以簡單擴(kuò)展到256通道，在壓縮feature size的情況下，部分可以達(dá)到1024。特征重映射在DL模塊化的之后通過重復(fù)實(shí)現(xiàn)，并且在前期DL任務(wù)中已經(jīng)展現(xiàn)了正相關(guān)的能力。經(jīng)過前兩步的充分“膨脹”與“扭曲”，重構(gòu)過程在DL-SR中通過特征折疊或者反卷積等操作即可實(shí)現(xiàn)。

構(gòu)造DL-SR網(wǎng)絡(luò)結(jié)構(gòu)完成了DL-SR算法的第一步，下一步是確定訓(xùn)練數(shù)據(jù)集。前期基于SRCNN/FSRCNN/VDSR等算法都是基于通用數(shù)據(jù)集的實(shí)現(xiàn)方案，比如采用BSD10。如何確定DL-SR的目標(biāo)，DL是一種基于學(xué)習(xí)的模式識別方法。最直接的方法是引入有監(jiān)督學(xué)習(xí)，通過構(gòu)建低分辨率與高分辨率對DL-SR網(wǎng)絡(luò)進(jìn)行訓(xùn)練，通過不同目標(biāo)函數(shù)使得網(wǎng)絡(luò)具備不同的重建特性。例如公式1基于范數(shù)的重建目標(biāo)函數(shù)，意在構(gòu)建和目標(biāo)高分辨率一致的輸出。目標(biāo)在于獲取映射網(wǎng)絡(luò)結(jié)構(gòu)f，使得f處理低分辨率輸入x得到的結(jié)果與高分辨率源具有最小的誤差。

同時，也出現(xiàn)了基于重建主觀質(zhì)量的網(wǎng)絡(luò)結(jié)構(gòu)[2]，例如公式2。公式2包含兩個模塊。第一部分為內(nèi)容損失，詳細(xì)描述如公式3，類似于公式1為了實(shí)現(xiàn)像素級的對齊（區(qū)別在于公式3采用了MSE損失）。

第二部分采用特征對齊，即對抗損失，通過要求重構(gòu)圖像與源高分辨率圖像通過同一深度網(wǎng)絡(luò)映射之后，獲取的特征仍具有一致性，一方面這種映射可以強(qiáng)化處理圖像的高層語義特征，例如圖像的紋理豐富程度而非單點(diǎn)的紋理高低，另一方面弱化單點(diǎn)對應(yīng)關(guān)系，因?yàn)檫@種對應(yīng)在多數(shù)據(jù)集的情況下網(wǎng)絡(luò)訓(xùn)練通常會收斂到各類失真的均值處，這點(diǎn)在弱紋理情況下尤為明顯。如下圖所示，可以看出相比SRResNet（第一列，采用基于公式1的目標(biāo)函數(shù)訓(xùn)練結(jié)果）與基于對抗訓(xùn)練的網(wǎng)絡(luò)（第2-4列）在紋理清晰程度上有顯著提升。

通過不同訓(xùn)練目標(biāo)的引導(dǎo)，通常DL-SR會產(chǎn)生不同的效果，如上圖所示，展示了幾種不同算法的測試效果，可以看出在采用了更深層語義特征之后，圖像的細(xì)膩程度得到提升，尤其在弱紋理區(qū)域的主觀質(zhì)量更好。額外需要注意的是，此類紋理性能提升并非基于點(diǎn)對點(diǎn)的逼近。實(shí)際上，在采用基于逐點(diǎn)匹配的指標(biāo)中，添加特征一致性通常會導(dǎo)致PSNR的下降。這個結(jié)論在下表中也可以得到證實(shí)。

DL-SR在性能上的提升是有代價的，主要體現(xiàn)在兩個方面。一方面是模型訓(xùn)練和數(shù)據(jù)獲取對應(yīng)的隱形資源，另一方面是部署資源需求，包括計(jì)算資源和存儲資源。經(jīng)典插值算法易經(jīng)確定抽頭系數(shù)m*n和插值范圍，m*n的乘加資源與m行的存儲資源即可實(shí)現(xiàn)流水處理，但是DL-SR通常需要GFlops的算力，同時考慮帶寬需求，還需要匹配MB級別的存儲資源。

2.DL-SR的性能提升

雖然DL-SR有著對經(jīng)典方法在主客觀性能上的優(yōu)勢，但這些優(yōu)勢還未能滿足用戶需求，目前尚存相當(dāng)?shù)奶嵘臻g，尤其是面對超高清視頻處理和實(shí)際應(yīng)用的情況。

首先是關(guān)于如何分析數(shù)據(jù)集與網(wǎng)絡(luò)結(jié)構(gòu)是否有偏的問題。自然圖像，尤其是超高分辨率圖片，通常包含大面積的平滑區(qū)域，導(dǎo)致紋理信息的分布不均勻，此外，考慮深層圖像在提升感知野的同時會壓縮相鄰像素空間的關(guān)聯(lián)性，這些均會導(dǎo)致圖像恢復(fù)效果的退化。(**)提出了均衡網(wǎng)絡(luò)，嘗試從訓(xùn)練數(shù)據(jù)提取、網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)等方面提升DL-SR性能，在降低算力需求的同時提升了主客觀質(zhì)量。但是關(guān)于DL-SR的訓(xùn)練Patch獲取與網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì)，在學(xué)界仍不斷有新思路迸發(fā)。

在處理實(shí)際應(yīng)用過程中，通常無法要求確定放大倍率的情況，尤其涉及當(dāng)前短視頻和異形屏的處理顯示需求中，需要完成非整數(shù)倍率的方法。另外考慮目前的強(qiáng)交互趨勢，也出現(xiàn)了連續(xù)放大的場景，例如在拍攝圖像預(yù)覽過程中，需要實(shí)現(xiàn)對局部信息的放大。如下圖所示，目前常用的上采樣算法有兩種，一種是采用空間深度轉(zhuǎn)換，另一種是用反卷積。這兩種方法都使用相同卷積核處理全部圖像，通常只能實(shí)現(xiàn)整數(shù)倍率方法。

(**)提出采用基于輸出的像素卷積核生成方法以處理無極放大問題，這種方法雖然解決了高倍率像素生成問題，但是面臨感知野和算力需求，有著與輸出分辨率強(qiáng)相關(guān)的缺陷。有效地實(shí)現(xiàn)基于無極放大的DL-SR是充分釋放其性能的重要課題。

另外，對特征融合方法的改進(jìn)也是眾多學(xué)者關(guān)注的核心要素，從最初的級聯(lián)型卷積疊加到后續(xù)引入殘差塊，以及近期的多重殘差塊和多尺度殘差模型，都為寄希望于提出可以滿足所有場景的特征映射模型。但是在優(yōu)化提升過程中，部署過程需要關(guān)注的信息必須包括算力因素，超過100個卷積層的深度網(wǎng)絡(luò)，幾乎難以在移動端實(shí)現(xiàn)實(shí)時2.5K視頻的SR處理。

最后，提升DL-SR的性能還涉及對評估方式的改進(jìn)。比較明顯的是對主客觀質(zhì)量的差異分析，通常以PSNR或MSE為導(dǎo)向的主觀指標(biāo)，在處理弱紋理區(qū)域難以獲得理想的效果。而引入主觀質(zhì)量的方式包括引入GAN網(wǎng)絡(luò)或者主觀指標(biāo)，例如LPIPS等算子。另外，近期引DL進(jìn)行無參考圖像質(zhì)量評價也為重建目標(biāo)提供了思路，但是考慮其通用性，在本書就不再過度引申了。

3.DL-SR與High-level CV的區(qū)別

基于DL-SR的提出落后于High-level的CV任務(wù)，這一方面可以讓基于識別或者分類的DL骨干網(wǎng)絡(luò)可以快速進(jìn)入DL-SR研究，極大提升了DL-SR的性能，但是另一方面在前期也導(dǎo)致了對二者差異性的忽略，最直接的差異體現(xiàn)在High level任務(wù)中起作用的方法，在DL-SR中效果并不十分明顯。例如疊加深度映射與效果提升并無直接對應(yīng)關(guān)系，BN層對特征空間充分映射和效果出現(xiàn)負(fù)相關(guān)等。這些差異一方面體現(xiàn)在超解析輸出更關(guān)注圖像的區(qū)域信息，深度網(wǎng)絡(luò)必須引入更多的跳連層，以保證淺層語義的有效性，同時為保證訓(xùn)練穩(wěn)定性，目前主流算法開始從直接訓(xùn)練輸出變?yōu)橛?xùn)練SR輸出與bicubic等的插值。BN層可以映射為對特征空間的歸一化，等效為對特征空間的自適應(yīng)尺度與偏移，這與SR的像素一致性發(fā)生背離，所以簡單套用High-level的經(jīng)驗(yàn)在DL-SR中并不可行。

另外，隨著如何實(shí)現(xiàn)像素級的精確，而非使用FC層對信息進(jìn)行融合也是一種典型差異，這體現(xiàn)為對SR任務(wù)而言，整體相似性并不能滿足用戶需求，而對大部分分類任務(wù)，保證分類概率超出同類，并達(dá)到一定置信度即可實(shí)現(xiàn)目標(biāo)。所以，并非low-level任務(wù)可以等價為易實(shí)現(xiàn)。

4.DL-SR的幾點(diǎn)思考與未來

從SRCNN提出，到現(xiàn)在DL-SR已經(jīng)成為淺層CV任務(wù)的典型代表，在CVPR和ECCV都提出了對應(yīng)的競賽單元，包括NTIRE和PIRM。二者具有不同的側(cè)重，但都為DL-SR性能提升和落地加速。目前DL-SR的發(fā)展方興未艾，對未來趨勢，此處做一些推測，以饗讀者。

首先是，如何獲取實(shí)際關(guān)聯(lián)的有監(jiān)督訓(xùn)練數(shù)據(jù)。目前基于DL-SR的有監(jiān)督數(shù)據(jù)集基本來自于NTIRE，該數(shù)據(jù)集的低分辨率來自于Bicubic下采樣，雖然Bicubic類似于點(diǎn)擴(kuò)散函數(shù)（PSF）可以模擬部分低分辨率數(shù)據(jù)生成方式，但是實(shí)際低分辨率數(shù)據(jù)的質(zhì)量退化，通常包含更多退化因素，例如CCD響應(yīng)缺陷，電子噪聲和圖像前后處理等。后期也提出了real-SR采用變焦獲取實(shí)拍數(shù)據(jù)集，但是此類數(shù)據(jù)集一方面僅限于室內(nèi)，難以處理室外運(yùn)動場景，另外考慮SR任務(wù)需要像素級對齊，所以LR與HR的對齊問題仍限制了其推廣。

其次是，效率與效果的平衡，如前面三節(jié)多次提到的算力問題一致困擾了DL-SR算法的落地，目前已有的高效算法通常伴隨了性能的明顯退化，使得當(dāng)前在終端僅能部署有限的處理能力。

另外，還需要指出的是，隨著DL-SR的性能提升，其對多媒體處理也起到了明顯的正面效果。此處舉兩個例子，第一是將SR引入codec，在相同碼率下，低分辨率視頻質(zhì)量明顯優(yōu)于直接編碼高分辨率源。采用基于SR+codec的處理思路，可以在數(shù)據(jù)供給端編碼低分辨率視頻，在解碼端或者使用端疊加DL-SR 以提供更好的視覺體驗(yàn)。這種基于SR-Codec的變化，帶來編解碼思路的優(yōu)化。第二是基于視覺SR的提升，優(yōu)化了SoC的負(fù)載。Nvidia通過采用DLSS實(shí)現(xiàn)了基于DL的SR算法，使得高分辨率需求遷移至CuDa側(cè)，降低Shader的負(fù)載，實(shí)現(xiàn)更高幀率。

審核編輯：郭婷