本文簡要介紹今年CVPR 2023的錄用論文“Document Image Shadow Removal Guided by Color-Aware Background”的主要工作。現(xiàn)有的文檔圖像陰影去除方法 [1,2]依賴于固定值背景而忽略文檔的其他印刷顏色，可能會對具有復(fù)雜背景的圖像造成顏色失真或陰影殘留問題。為了解決上述問題，作者提出了顏色感知背景提取網(wǎng)絡(luò)(CBENet)提取彩色背景用于指導(dǎo)陰影去除網(wǎng)絡(luò)(BGShadowNet)進行陰影去除。BGShadowNet分為兩個階段，在階段一采用背景約束解碼器生成一個粗略的結(jié)果，在階段二通過在編碼-解碼模型中嵌入基于背景的注意力模塊(BAModule)維持文檔外觀的一致性，用細(xì)節(jié)增強模塊(DEModule)提高紋理細(xì)節(jié)來改進初步去陰影的結(jié)果。在兩個基準(zhǔn)數(shù)據(jù)集RDD和Kligler上定性和定量的實驗證實了本文所提出方法的優(yōu)越性。

一、研究背景

目前的文檔陰影去除算法 [1,2]通常假設(shè)文檔的背景顏色是一個固定值。用聚類 [1]或是深度學(xué)習(xí) [2]的方法得到背景顏色指導(dǎo)文檔圖像陰影的去除。但是這樣的做法會忽略文檔中存在的其它印刷顏色，對文檔背景復(fù)雜的圖像可能會造成顏色失真或陰影殘留的問題。如圖1(d)存在顏色失真和陰影殘留，(f) 存在陰影殘留。而本文提出的基于顏色感知背景的文檔圖像陰影去除方法能很好地避免這兩個問題。

圖1 本文基于顏色感知背景的方法可以更好地去除文檔圖像陰影，避免顏色失真和陰影殘留。

二、方法原理簡述

圖2 模型結(jié)構(gòu)圖

圖2是模型的整體結(jié)構(gòu)圖，它包含顏色感知背景提取網(wǎng)絡(luò)(Color-aware Background Extraction Network, CBENet)和陰影去除網(wǎng)絡(luò)(Background-guided Shadow Removal Network , BGShadowNet)。CBENet采用U-Net [3]結(jié)構(gòu)用于提取顏色隨空間變化的彩色背景，提供一些有用的顏色信息幫助BGShadowNet進行陰影去除。彩色背景的GT計算過程如下，首先將無陰影的圖像分為16×16的Patch，然后對于每個區(qū)域，根據(jù)像素強度聚類成兩個簇，分別是背景和文字。一般來說背景比文字亮一些，用更亮的簇的均值作為這個Patch的背景顏色。最后對這個區(qū)域做平滑，避免邊界顏色過度不平滑。圖3展示了彩色背景的可視化。

圖3 彩色背景可視化：(a) 陰影圖像，(b) 局部背景圖像，(c) 最終背景圖像。

BGShadowNet包含兩個階段，階段1的目的是生成一個粗略的陰影去除圖像，采用U-Net [3]結(jié)構(gòu)。為了利用背景圖像的編碼特征，在解碼的時候?qū)BENet的編碼特征集成到對應(yīng)的層級，最后生成一個粗略的去陰影結(jié)果。在階段2對階段1的結(jié)果進行改進和提升。輸入粗略的去陰影結(jié)果和原圖的堆疊，進入一個編碼-解碼網(wǎng)絡(luò)(DenseUnet [4])，在基于背景的注意力模塊(Background-based Attention Module, BAModule)結(jié)合彩色背景信息保持文檔外觀的一致性。在細(xì)節(jié)增強模塊(Detail Enhancement Module, DEModule)利用底層特征來恢復(fù)粗糙結(jié)果的紋理細(xì)節(jié)。最后的結(jié)果經(jīng)過判別器判斷文檔的真實性。

圖4 BAModule結(jié)構(gòu)圖

有相似背景的區(qū)域應(yīng)該具有類似的外觀(顏色和光照)。然而，粗略的去除陰影結(jié)果中可能存在光照或顏色偽影。為了保持圖像的整體一致性，本文引入了一種基于背景的注意力模塊(BAModule)，其結(jié)構(gòu)如圖4所示。編碼特征和背景特征堆疊后經(jīng)過卷積生成顏色感知注意力圖與堆疊后的輸入特征相乘得到輸出特征。

由于網(wǎng)絡(luò)中存在多個卷積和下采樣操作，高層次的特征可能會丟失部分細(xì)節(jié)信息，導(dǎo)致細(xì)節(jié)模糊的結(jié)果。與高層次特征相比，CNN層的低層特征通常包含更多的紋理細(xì)節(jié)。因此，本文引入了一個細(xì)節(jié)增強模塊(DEModule) 來利用網(wǎng)絡(luò)中的低層特征，恢復(fù)粗略結(jié)果的紋理細(xì)節(jié)，其結(jié)構(gòu)如圖5所示。取編碼器前兩層的編碼特征堆疊后經(jīng)過兩次卷積得到特征圖M，全局平均池化后得到，計算兩者之間的余弦相似度得到S。通過以下公式對S進行量化得到量化編碼圖E，和量化級別L一起得到反映低層信息的相對統(tǒng)計信息的量化計數(shù)圖C。C通過卷積后與上采樣后的結(jié)果堆疊得到絕對統(tǒng)計信息H。H通過圖5右側(cè)的分支生成新的量化級別與量化編碼圖E相乘后得到輸出特征。

圖5 DEModule結(jié)構(gòu)圖

網(wǎng)絡(luò)的Loss包括CBENet的背景重建Loss，第二個是階段1和階段2輸出結(jié)果的Loss，第三個是結(jié)構(gòu)一致性損失，最后一個是對抗損失。

三、主要實驗結(jié)果及可視化效果

本文構(gòu)建了一個真實的文檔陰影去除數(shù)據(jù)集RDD，4371份用于訓(xùn)練，545用于測試。測試的數(shù)據(jù)集還包括Kligler [5]。表1實驗結(jié)果證明本文方法的有效性。兩個數(shù)據(jù)集上的RMSE、PSNR和SSIM都優(yōu)于現(xiàn)有的文檔陰影去除方法。

表1 RDD和Kligler測試集的實驗結(jié)果

圖6 各種陰影去除方法的可視化比較：(a) 輸入圖像，(b) Jung，(c) DSC，(d) Fu，(e) DHAN，(f) CANet，(g) BEDSR-Net，(h) 本文的BGShadowNet，以及 (i) 真實標(biāo)注圖像。

用戶測試的實驗結(jié)果也表明本文的方法去陰影的效果排名最高。有20.32%的志愿者認(rèn)為本文的方法去陰影的效果最好。

表2展示了本文提出的BAModule和DEModule的消融實驗，圖7是對應(yīng)的可視化結(jié)果。表3展示了彩色背景的消融實驗。

表2 在RDD和Kligler上的消融實驗，BASE1：一個DenseUnet；BASE2：兩個堆疊的DenseUnet；BGShadowNet1：沒有Stage2；BGShadowNet2：沒有DEModule和BAModule；BGShadowNet3：沒有BAModule；BGShadowNet4：沒有DEModule。

圖7 消融實驗的可視化比較：(a) 輸入圖像，(b) BASE1，(c) BASE2，(d) BGShadowNet1，(e) BGShadowNet2，(f) BGShadowNet3，(g) BGShadowNet4，以及 (h) 本文的BGShadowNet。

表3 在RDD數(shù)據(jù)集上彩色背景的消融實驗

四、總結(jié)及討論

1. 為了解決現(xiàn)有方法對具有復(fù)雜背景的圖像造成顏色失真或陰影殘留問題，本文提出了顏色感知背景提取網(wǎng)絡(luò)(CBENet)提取彩色背景用于指導(dǎo)陰影去除網(wǎng)絡(luò)(BGShadowNet)進行陰影去除。

2. 本文提出基于背景的注意力模塊(BAModule)維持文檔外觀的一致性，以及細(xì)節(jié)增強模塊(DEModule)提高紋理細(xì)節(jié)。

3. 當(dāng)圖像受到嚴(yán)重的噪聲干擾時，本文方法的陰影去除結(jié)果可能會包含一些殘留噪聲，導(dǎo)致與周圍環(huán)境的亮度不均勻。

五、相關(guān)資源

論文地址：https://openaccess.thecvf.com/content/CVPR2023/papers/Zhang_Document_Image_Shadow_Removal_Guided_by_Color-Aware_Background_CVPR_2023_paper.pdf