1、摘 要

缺陷檢測(cè)是工業(yè)產(chǎn)品處理中的一項(xiàng)重要任務(wù)。當(dāng)前，已經(jīng)有很多基于計(jì)算機(jī)視覺(jué)技術(shù)的檢測(cè)方法成功應(yīng)用于工業(yè)領(lǐng)域并取得了較好的檢測(cè)結(jié)果。然而，受限于類(lèi)間表面缺陷的內(nèi)在復(fù)雜性，使得實(shí)現(xiàn)完全自動(dòng)的缺陷檢測(cè)仍然面臨巨大挑戰(zhàn)。雖然，類(lèi)間缺陷包含相似的部分，但是缺陷的表面仍然存在較大的不同。為了解決這個(gè)問(wèn)題，論文提出了一種金字塔特征融合與全局上下文注意力網(wǎng)絡(luò)的逐像素表面缺陷檢測(cè)方法，并命名為PGA-Net。在這個(gè)框架中，首先從骨干網(wǎng)絡(luò)提取多尺度特征。然后，使用金字塔特征融合模塊，通過(guò)一些有效的跳連接操作將5個(gè)不同分辨率的特征進(jìn)行融合。最后，再將全局上下文注意模塊應(yīng)用于相鄰分辨率的融合特征，這使得有效信息從低分辨率融合特征圖傳播到高分辨率融合特征圖。另外，在框架中還加入邊界細(xì)化模塊，細(xì)化缺陷邊界，提高預(yù)測(cè)結(jié)果。實(shí)驗(yàn)結(jié)果證明，所提方法在聯(lián)合平均交點(diǎn)和平均像素精度方面優(yōu)于對(duì)比方法。

2、引 言

質(zhì)量是制造過(guò)程中的一個(gè)重要組成部分。為了滿足日益增長(zhǎng)的需求，必須在確保產(chǎn)品生產(chǎn)質(zhì)量的同時(shí)提高生產(chǎn)效率。其中，表面缺陷檢測(cè)是控制工業(yè)產(chǎn)品質(zhì)量的關(guān)鍵步驟。由于缺陷的復(fù)雜性，自動(dòng)缺陷檢測(cè)任務(wù)面臨三大挑戰(zhàn)：1）低對(duì)比度：在工業(yè)生產(chǎn)中，粉塵的存在和光照的變化導(dǎo)致圖像中缺陷與背景的對(duì)比度低。如圖1（a）所示，標(biāo)簽紅色方框中的缺陷幾乎不可見(jiàn)；2）類(lèi)內(nèi)差異：與其他應(yīng)用不同，在工業(yè)生產(chǎn)中，缺陷的形狀是不規(guī)則的。如圖1（b）所示，同類(lèi)缺陷的不同尺度差異較大；3）類(lèi)間相似性：由于生產(chǎn)過(guò)程的不確定性，一些不同類(lèi)型的缺陷差異很小。如圖1（c）所示，不同類(lèi)型的缺陷（在黃色和藍(lán)色框中），它們?cè)诩y理和灰度信息上非常相似。

圖1. 工業(yè)缺陷檢測(cè)面臨的挑戰(zhàn) （a）低對(duì)比度缺陷; （b）類(lèi)內(nèi)較大差異缺陷; （c）類(lèi)間相似缺陷

得益于計(jì)算機(jī)視覺(jué)技術(shù)的快速發(fā)展，上述問(wèn)題已經(jīng)逐漸得到處理。例如，曲率濾波和高斯混合模型被應(yīng)用到鋼軌表面缺陷檢測(cè)。基于模板匹配的方法可應(yīng)用于鋼板表面缺陷檢測(cè)。近年來(lái)，其它基于手工特征的方法也被用于工業(yè)應(yīng)用（如太陽(yáng)能電池組件、金屬、鋼鐵）的缺陷檢測(cè)，并取得了良好的效果。然而，這些方法都是研究人員利用人為手工設(shè)定的特征去實(shí)現(xiàn)缺陷檢測(cè)，而這種手工設(shè)計(jì)的特征并具有普遍性。

目前，基于CNN的檢測(cè)方法已廣泛應(yīng)用于工業(yè)缺陷檢測(cè)，通過(guò)設(shè)計(jì)不同的網(wǎng)絡(luò)模型來(lái)完成缺陷檢測(cè)。例如，針對(duì)低對(duì)比度場(chǎng)景，模型需要有效地利用目標(biāo)的特征來(lái)區(qū)分目標(biāo)與背景的差異。此外，在CNN不同層的特征對(duì)目標(biāo)的敏感性也不同。低層特征具有較高的分辨率，可以生成清晰、詳細(xì)的邊界，但上下文信息較少。高層特征具有較抽象的語(yǔ)義信息，擅長(zhǎng)進(jìn)行類(lèi)別分類(lèi)，但形狀和位置信息較弱。大多數(shù)深度學(xué)習(xí)方法主要集中在從網(wǎng)絡(luò)深層提取高層特征。由于缺乏從淺層提取的低層特征（如邊界、紋理和灰度信息），導(dǎo)致預(yù)測(cè)效果不佳。為此，論文利用骨干網(wǎng)各階段最后一個(gè)卷積層提取的特征，包括低級(jí)粗特征和高級(jí)語(yǔ)義特征。對(duì)于類(lèi)內(nèi)差異，模型需要對(duì)各種變化（如形狀、比例和紋理）保持不變形。目前，大多數(shù)基于全卷積網(wǎng)絡(luò)的方法都是通過(guò)擴(kuò)大感受野來(lái)覆蓋整個(gè)缺陷，以實(shí)現(xiàn)對(duì)物體變化的感知。例如，通過(guò)在骨干網(wǎng)絡(luò)中引入擴(kuò)張卷積可以增強(qiáng)模型對(duì)特征變化的感知，但是這種方法會(huì)導(dǎo)致網(wǎng)格偽影。又如，采用不同池核的金字塔池化模塊對(duì)骨干網(wǎng)不同尺度下提取的特征進(jìn)行融合，但池化會(huì)造成信息的丟失。針對(duì)這些問(wèn)題，論文提出一種金字塔特征融合模塊，該模塊利用多尺度卷積（不同大小的核）對(duì)上次卷積后的特征圖進(jìn)行加權(quán)，從而獲得不同階段的上下文信息，然后將這些提取的相同分辨率的特征在每個(gè)階段進(jìn)行融合。這樣既避免了網(wǎng)格化的偽影和信息的缺失，又充分提取了上下文信息。同時(shí)，使用與卷積核寬度相同大小的條帶不會(huì)帶來(lái)較大的計(jì)算量。對(duì)于類(lèi)間相似性，模型還需要實(shí)現(xiàn)對(duì)圖像中不同類(lèi)別對(duì)象的整體感知（包括它們之間的聯(lián)系和區(qū)別），實(shí)現(xiàn)每個(gè)像素所需分類(lèi)的正確位置。為此，研究人員將高層特征直接上采樣，然后與低層特征融合，但是計(jì)算效率較低。或者，通過(guò)獲取多個(gè)上下文信息，并對(duì)特征進(jìn)行從高層到低級(jí)的聚合，以細(xì)化特征細(xì)節(jié)，但會(huì)產(chǎn)生大量的參數(shù)。為了解決這個(gè)問(wèn)題，論文在相鄰分辨率融合圖中加入全局上下文關(guān)注模塊，從低分辨率融合圖中提取全局上下文信息，然后對(duì)高分辨率融合圖進(jìn)行加權(quán)，細(xì)化像素種類(lèi)的空間位置。這樣既保證了信息的有效傳播又不增加計(jì)算量。

3、方法設(shè)計(jì)

A.模型概述

在本文中，表面缺陷檢測(cè)被當(dāng)做是逐像素問(wèn)題，所提網(wǎng)絡(luò)模型結(jié)構(gòu)包括五個(gè)主要部分：1）多級(jí)特征提取；2）金字塔特征融合模塊；3）全局上下文注意力模塊；4）邊界細(xì)化塊；5）深度監(jiān)督，網(wǎng)絡(luò)模型框架如圖2所示。

圖2 PGA-Net網(wǎng)絡(luò)模型框架

首先，將原始圖像和對(duì)應(yīng)真實(shí)值輸入到網(wǎng)絡(luò)，通過(guò)特征提取網(wǎng)絡(luò)的卷積池化操作提取多級(jí)特征。然后，將這些特征輸入到金字塔特征融合模塊中。通過(guò)卷積和反卷積（不同核和步長(zhǎng)）操作調(diào)整維數(shù)，使融合后的特征映射具有相同的維數(shù)。同時(shí)，通過(guò)一些密集的跳連接，將這些特征融合為5個(gè)不同分辨率大小的融合特征。接著，全局上下文注意力網(wǎng)絡(luò)被嵌入到這5個(gè)分辨率特征中以高效的實(shí)現(xiàn)低分率到高分辨率的信息傳播。最后，融合這些預(yù)測(cè)特征并產(chǎn)生最終的預(yù)測(cè)結(jié)果。

B.多級(jí)特征提取模塊（FEM）

深度特征提取模塊（FEM）建立在已用ImageNet預(yù)訓(xùn)練的VGG-16模型之上，以為缺陷檢測(cè)獲得更多的多層次特征。FEM包括五個(gè)塊，這些塊提取了從淺層到深層的各種外觀信息。除最后一個(gè)塊外，每個(gè)塊由卷積層、校正線性單元激活函數(shù)（RELU）、批歸一化和最大池層組成。表1展示了FEM的細(xì)節(jié)結(jié)構(gòu)。

C.金字塔特征融合模塊（PFF）

在深度CNN中，上下文信息被使用的程度大致取決于感受野的大小。對(duì)于缺陷的檢測(cè)，有些缺陷是類(lèi)內(nèi)差異，需要較大的感受野才能實(shí)現(xiàn)對(duì)圖像中缺陷的全面感知。為此，論文提出了一種金字塔特征融合（PFF）模塊，如圖所示3。

圖3 金字塔特征融合模塊 首先，給與一個(gè)尺寸為WxH的輸入圖像I和通過(guò)FEM模塊生成的不同階段的多級(jí)特征。PFF模塊獲取每個(gè)階段的最后一層特征：conv1_2、conv2_2、conv3_3、conv4_3、conv5_3。這五個(gè)特征可以用一個(gè)特征集F來(lái)表示：F=（f1，f2， f3， f4， f5），其中f1表示conv1_2特征，以此類(lèi)推。其次，通過(guò)多尺度感受野加權(quán)F生成多上下文信息，并將該信息同時(shí)映射到五個(gè)不同分辨率的特征映射中去：Tn=（W/2n， H/2n）。對(duì)于f1（分辨率R1=T0），模塊用一堆卷積層將其降采樣到五種分辨率，它們的輸出特征映射為Yi1可表示：

其中，σ表示RELU激活，dow-scale（·）表示通過(guò)Wk×k（核大小為kxk，步幅s=k）向下降采樣特征映射f1，b表示偏差，*表示卷積。對(duì)于f5（分辨率R5=T4），模塊將其上采樣到為5種分辨率，輸出特征映射Yi5，如下所示：

upsample（·;φ ）是指在訓(xùn)練過(guò)程中學(xué)習(xí)到的參數(shù)φ的反卷積。對(duì)于分辨率介于T0和T4之間的f2、f3和f4，該模型使用降采樣和上采樣相結(jié)合的方法將它們調(diào)整為五種分辨率，輸出特征映射為Yil：

最后，將這些輸出圖中尺寸相同的特征進(jìn)行融合，生成最終的五個(gè)融合特征圖：

通過(guò)這種方式，該模型便可以有效地獲取多尺度的上下文信息，從CNN的不同階段，實(shí)現(xiàn)整體對(duì)象感知。

D.全局上下文關(guān)注模塊（GCA）

由PFF生成的不同分辨率的最終融合特征圖，包含了各種視覺(jué)上下文信息，并且每一個(gè)都可以用于預(yù)測(cè)結(jié)果。一種方法是利用雙線性上樣將這些融合特征放大到與原始圖像相同的維數(shù)，然后通過(guò)卷積層改變它們的通道來(lái)預(yù)測(cè)分割結(jié)果。然而，這些方法的缺點(diǎn)是：1）缺乏不同分辨率預(yù)測(cè)之間的內(nèi)在聯(lián)系信息，2）直接使用雙線性大核上樣本可能會(huì)導(dǎo)致一些細(xì)節(jié)信息的缺失，參數(shù)不可訓(xùn)練。為了解決上述問(wèn)題，論文提出了一個(gè)全局注意力模塊，如圖4所示。

圖4 全局注意力模塊 該模塊包括兩個(gè)階段：第一階段： 采用3×3卷積調(diào)整高分辨率和低分辨率融合特征圖的通道維度，然后通過(guò)全局池化到低分辨率得到全局上下文，再與高分辨率特征圖相乘，其輸出特征表示為fs1。第二階段，將低分辨率融合特征圖上采樣到與高分辨率融合特征圖相同的維數(shù)，然后與fs1相加。

與簡(jiǎn)單地將上采樣的粗分辨率特征映射添加到細(xì)分辨率特征映射中相比，所提出的GCA模塊可以利用不同分辨率的融合特征映射來(lái)提高上下文獲取和相應(yīng)像素化定位的效率。

E.邊界細(xì)化塊

論文加入了邊界細(xì)化塊以進(jìn)一步提高檢測(cè)精度，圖4（b）展示了邊界細(xì)化殘差結(jié)構(gòu)，其輸出為細(xì)化得分圖。

F.深度監(jiān)督

在充分利用多級(jí)特征的同時(shí)，參數(shù)的數(shù)量也明顯增加，這可能會(huì)增加優(yōu)化的難度。為了解決這個(gè)問(wèn)題，論文在模型中加入了深度監(jiān)督，目的是簡(jiǎn)化訓(xùn)練過(guò)程，加速網(wǎng)絡(luò)模型的優(yōu)化。每個(gè)分辨率的PFF模塊生成的融合特征圖可以單獨(dú)進(jìn)行裂紋預(yù)測(cè)。將每像素?fù)p失（交叉熵）添加到上述五個(gè)分辨率融合的特征中。損失函數(shù)描述為：

其中Ti和Pi分別表示真實(shí)值和預(yù)測(cè)概率。

4、實(shí)驗(yàn)分析

論文采用NEU-DET缺陷數(shù)據(jù)集，DAGM 2007 缺陷數(shù)據(jù)集，MT缺陷數(shù)據(jù)集，以及Road 缺陷數(shù)據(jù)集進(jìn)行測(cè)試。這里以NEU-DET和DAGM2007數(shù)據(jù)集的測(cè)試結(jié)果為例，展示論文所提PGA-Net網(wǎng)絡(luò)的預(yù)測(cè)效果。

1） NEU-SEG缺陷的檢測(cè)結(jié)果：在圖5展示了PGA-Net和其他方法對(duì)帶鋼表面缺陷圖像的視覺(jué)比較。在低對(duì)比度（4-5行）和類(lèi)內(nèi)差異（7-8行）等具有挑戰(zhàn)性的缺陷檢測(cè)情況下， PGA-Net算法的性能優(yōu)于其他方法，預(yù)測(cè)結(jié)果與真實(shí)值非常接近。通過(guò)表1所示的定量比較，PGA-Net在評(píng)價(jià)指標(biāo)方面優(yōu)于其他比較方法：mIOU值提高到82.15%。

圖5. NEU-SEG數(shù)據(jù)集檢測(cè)結(jié)果對(duì)比。紅色、綠色和黃色分別代表夾雜物（In）、斑塊（Pa）和劃痕（Sc）缺陷。（a）原始圖像; （b）真實(shí)值; （c）SegNet; （d） PSPNet; （e） DeepLab; （f） RefineNet; （g） FCN; （h） PGA-Net

表1 NEU-SEG缺陷的檢測(cè)結(jié)果定量比較

2） DAGM2007數(shù)據(jù)集結(jié)果：圖6展示了DAGM 2007部分缺陷圖像可視化檢測(cè)結(jié)果。該數(shù)據(jù)集的主要檢測(cè)挑戰(zhàn)是背景和缺陷之間的低對(duì)比度（1-3行）。可以發(fā)現(xiàn)，SegNet遺漏或錯(cuò)誤地檢測(cè)到某些缺陷。對(duì)于一些大面積缺陷，PSPNet和RefineNet不能精確定位缺陷。FCN和DeepLab放大了一些低對(duì)比度缺陷區(qū)域。相反， PGA-Net的性能更接近實(shí)際情況。表2所示展示了對(duì)各對(duì)比方法的定量比較，可以發(fā)現(xiàn)PGA-Net將性能提高到74.78%。

圖6. DAGM2007數(shù)據(jù)集檢測(cè)結(jié)果對(duì)比。（a）原始圖像; （b）真實(shí)值; （c）SegNet; （d） FCN; （e） DeepLab; （f） PSPNet; （g） RefineNet; （h） PGA-Net

表2 DAGM2007數(shù)據(jù)集結(jié)果定量比較

消融實(shí)驗(yàn)

為了評(píng)價(jià)所提出的方法，論文進(jìn)行了一系列消融實(shí)驗(yàn)，包括降采樣類(lèi)型、融合特征分辨率的影響以及對(duì)檢測(cè)結(jié)果的邊界細(xì)化。所有這些消融實(shí)驗(yàn)的評(píng)價(jià)都是基于NEU-SEG數(shù)據(jù)集。

1）降采樣類(lèi)型的消融研究：對(duì)于PFF模塊中的降采樣結(jié)構(gòu)，論文使用了大核卷積取代最大池。這是因?yàn)椋矸e降在低了特征維數(shù)的同時(shí)仍然保留了特征信息，而最大池可能會(huì)導(dǎo)致大量特征信息的丟失。此外，使用較大的內(nèi)核不會(huì)帶來(lái)太大的計(jì)算負(fù)擔(dān)，如表3所示，性能由79.89%提高到80.46%。 表3不同設(shè)置下論文方法的詳細(xì)性能

2）融合特征分辨率的影響：當(dāng)通過(guò)卷積和反卷積（具有大的核尺寸和步長(zhǎng)）調(diào)整這些特征分辨率時(shí)，F(xiàn)EM中的一些融合特征結(jié)構(gòu)（空間和語(yǔ)義）很容易被破壞，這與目標(biāo)融合特征圖的分辨率有很大差異。為了驗(yàn)證融合特征分辨率的效果，論文額外評(píng)估了來(lái)自PFF的五個(gè)融合特征圖（Dec-1s、Dec-2s、Dec-4s、Dec-8s、Dec-16s），相應(yīng)的性能如3所示。從表中可以看出，隨著分辨率的增加，模型性能逐漸變好，這證明了論文方法選擇分辨率進(jìn)行特征圖融合的必要性。

3）邊界細(xì)化對(duì)檢測(cè)結(jié)果的消融：在提出的方法中加入了邊界細(xì)化塊，以提高檢測(cè)結(jié)果的性能。如表3所示，邊界細(xì)化塊的mIOU值為82.15%，證明了BR方法的有效性。

4）與其他多級(jí)特征融合方法的比較：為了驗(yàn)證PFF模塊的優(yōu)越性，對(duì)UN、DLA、DSS等多級(jí)特征融合方法進(jìn)行了比較。論文用這些方法中的多級(jí)融合模塊取代了所提方法中的PFF模塊。所有模塊都基于同一個(gè)骨干網(wǎng)VGG-16網(wǎng)絡(luò)。在NEU-SEG數(shù)據(jù)集上評(píng)估這些模塊的預(yù)測(cè)結(jié)果。論文方法和其他方法的直觀比較顯示如圖7所示，量化評(píng)價(jià)如表4所示。可以看出，與多級(jí)特征融合模塊相比，論文所提的PFF取得了更好的性能。

圖7 NEU-Seg 數(shù)據(jù)集上的檢測(cè)結(jié)果比較。 （a） 原始圖像; （b）真實(shí)值; （c）UN; （d） DLA; （e） DSS; （f） 本文方法 表4不同多尺度特征融合模塊的詳細(xì)性能

5、結(jié)論

論文提出了一種用于表面缺陷檢測(cè)的自動(dòng)檢測(cè)網(wǎng)絡(luò)。在該框架中，通過(guò)特征提取模塊從缺陷圖像中提取多級(jí)特征。并引入金字塔特征融合模塊，將多級(jí)特征融合成不同的分辨率。全局上下文注意力模塊使有效信息從低分辨率融合特征圖傳播到高分辨率融合特征圖。此外，在框架中增加了邊界細(xì)化塊，對(duì)目標(biāo)邊界預(yù)測(cè)進(jìn)行細(xì)化。該框架中引入了深度監(jiān)督，以加快網(wǎng)絡(luò)優(yōu)化的進(jìn)程。實(shí)驗(yàn)表明，該方法在四種表面缺陷數(shù)據(jù)集的檢測(cè)上取得了較大的進(jìn)步。但由于數(shù)據(jù)集數(shù)量和多樣性的限制，在圖中出現(xiàn)了一些缺陷缺失和錯(cuò)誤檢測(cè)的情況。雖然檢測(cè)的速度可以達(dá)到41-49fps/s，在實(shí)際檢測(cè)過(guò)程中可以接受，并且不損害用戶(hù)體驗(yàn)。但是還需要進(jìn)一步提高，以滿足實(shí)時(shí)性和高準(zhǔn)確度的要求。另外，在實(shí)驗(yàn)過(guò)程中需要對(duì)訓(xùn)練樣本和測(cè)試樣本進(jìn)行標(biāo)注，耗時(shí)較長(zhǎng)。在未來(lái)的研究中，計(jì)劃尋求一種有效的數(shù)據(jù)增強(qiáng)策略，結(jié)合論文方法來(lái)提高檢測(cè)性能，并優(yōu)化框架來(lái)加速提出的方法以滿足實(shí)時(shí)性和高精度的要求。此外，在今后的工作中將采用半監(jiān)督機(jī)制。

審核編輯：郭婷