目錄

• 工業(yè)缺陷檢測場景簡介
• 工業(yè)缺陷檢測場景的特點(diǎn)
• 工業(yè)缺陷檢測場景的需求
• 工業(yè)缺陷檢測場景的流程圖
• 工業(yè)缺陷檢測常用的深度學(xué)習(xí)算法
• 缺陷檢測需要的工具

工業(yè)缺陷檢測場景簡介

在工業(yè)生產(chǎn)過程中，由于現(xiàn)有技術(shù)、工作條件等因素的不足和局限性，極易影響制成品的質(zhì)量。其中，表面缺陷是產(chǎn)品質(zhì)量受到影響的最直觀表現(xiàn)。因此，為了保證合格率和可靠的質(zhì)量，必須進(jìn)行產(chǎn)品表面缺陷檢測。

“缺陷”一般可以理解為與正常樣品相比的缺失、缺陷或面積。表面缺陷檢測是指檢測樣品表面的劃痕、缺陷、異物遮擋、顏色污染、孔洞等缺陷，從而獲得被測樣品表面缺陷的類別、輪廓、位置、大小等一系列相關(guān)信息。人工缺陷檢測曾經(jīng)是主流方法，但這種方法效率低下；檢測結(jié)果容易受人為主觀因素的影響，不能滿足實(shí)時(shí)檢測的要求。它已逐漸被其他方法所取代。

工業(yè)缺陷檢測場景的特點(diǎn)

自然場景一般是強(qiáng)語義信息，缺陷檢測一般為弱語義信息。缺陷檢測不需要特別大的感受野，一般為紋路上的缺陷，局部區(qū)域就可以判別。工業(yè)場景有以下幾個(gè)特點(diǎn)：

• 業(yè)務(wù)場景過于分散：缺陷檢測場景還是非常分散的，難以歸納。
• 受限、可控：有比較大的人工干預(yù)空間。例如可以利用一些光學(xué)、機(jī)械結(jié)構(gòu)等設(shè)計(jì)降低場景的復(fù)雜，使得我們面臨的場景更加純粹。
• 一般面臨的目標(biāo)比較微弱：這個(gè)與目標(biāo)缺陷的形態(tài)、顏色等有關(guān)。有時(shí)還會(huì)有一些例如黑色紋理上的黑色缺陷，強(qiáng)烈吃視角的缺陷等；
• 需求不太明確：很多時(shí)候做不到非黑即白的“一刀切。其實(shí)仔細(xì)思考，并不是客戶給不出明確的需求，而是場景和數(shù)據(jù)本身的固有屬性，需求在執(zhí)行的時(shí)候很難做到一致性。
• 精度指標(biāo)要求比較高：動(dòng)輒 100% 還是比較夸張的。一般 1 個(gè)點(diǎn)的漏撿，2 到 3 個(gè)點(diǎn)的誤檢算是比較理想的結(jié)果了。

工業(yè)缺陷檢測場景的需求

根據(jù)工業(yè)缺陷檢測場景的固有屬性。針對(duì)該場景，主要有以下幾點(diǎn)需求：

• 需求一：能夠正確判別出 NG（Not Good） 和 OK，本質(zhì)是一個(gè)分類任務(wù)：這個(gè)是最基礎(chǔ)的任務(wù)，可以認(rèn)為是二分類任務(wù)；
• 需求二：定位缺陷的位置和缺陷的類別，本質(zhì)是一個(gè)目標(biāo)檢測的任務(wù): 用矩形框粗略地標(biāo)記出缺陷的位置，并判別出每個(gè)缺陷所屬的細(xì)分類別，方便歸因分析、指標(biāo)統(tǒng)計(jì)、設(shè)備升級(jí)、維修等；
• 需求三：定位缺陷的精確位置和每一個(gè)缺陷的類別，本質(zhì)是稠密預(yù)測，屬于圖像分割任務(wù)：能夠精確得到缺陷的輪廓，需要產(chǎn)出缺陷的熱力圖；一般對(duì)應(yīng)的上層任務(wù)有缺陷分級(jí)、需求定制或變更。

• 需求四：只有大量的正常樣本，設(shè)計(jì)算法進(jìn)行缺陷檢測，本質(zhì)是無監(jiān)督學(xué)習(xí)算法：只提供一些正常樣本，希望模型在僅有的正常樣本上訓(xùn)練后，能夠檢測出實(shí)際生產(chǎn)環(huán)境中異常缺陷的樣本。

工業(yè)缺陷檢測場景的流程圖

工業(yè)缺陷檢測整個(gè)流程如下圖所示，一共經(jīng)過7個(gè)階段，分別是：明確需求階段、打光階段、數(shù)據(jù)階段、算法設(shè)計(jì)階段、部署階段、運(yùn)維階段。

工業(yè)缺陷檢測常用的深度學(xué)習(xí)算法

我們能用到的深度學(xué)習(xí)算法很多，有分類、檢測、分割系列，例如分類算法中的細(xì)粒度分類，可以更加精準(zhǔn)的提取微弱的特征，細(xì)粒度算法一般會(huì)用到打亂和注意力機(jī)制，對(duì)紋理上的缺陷識(shí)別會(huì)更優(yōu)一點(diǎn)。

另外，應(yīng)用語義分割任務(wù)做缺陷檢測，其實(shí)缺陷檢測并不局限語義分割，它更像提取一張高斯熱圖，有缺陷的地方概率高，背景區(qū)域概率低。因此有一些熱圖回歸的做法也可以應(yīng)用。

除了監(jiān)督學(xué)習(xí)算法，在應(yīng)對(duì)缺少缺陷樣本的場景中，我們還可以選擇無監(jiān)督學(xué)習(xí)方案。

深度學(xué)習(xí)的快速發(fā)展使其在缺陷檢測領(lǐng)域得到越來越廣泛的應(yīng)用，具體的缺陷檢測方法如圖所示。

監(jiān)督方法

監(jiān)督方法要求訓(xùn)練集和測試集缺一不可，訓(xùn)練集中的樣本必須被標(biāo)記，其中訓(xùn)練集用于尋找樣本的內(nèi)在規(guī)律，然后將規(guī)律應(yīng)用到測試集。

在上述有監(jiān)督的表面缺陷檢測方法中，基于表征學(xué)習(xí)的方法大致可以分為三類：分類網(wǎng)絡(luò)、檢測網(wǎng)絡(luò)和分割網(wǎng)絡(luò)。其中，常用的分類網(wǎng)絡(luò)是 Resnet、ShuffleNet；通常用作檢測網(wǎng)絡(luò)的是 Faster RCNN、YOLO；常用的分割網(wǎng)絡(luò)有：FCN、Mask RCNN 等。

在缺陷檢測的任務(wù)中，分類網(wǎng)絡(luò)的重點(diǎn)是解決“缺陷是什么”問題，即確定圖像的類型（圖像是否包含缺陷，缺陷的類型是什么）；檢測網(wǎng)絡(luò)的重點(diǎn)是解決“缺陷在哪里”的問題，即獲取具體的位置信息和通過確定缺陷的位置來確定缺陷的類別信息；分割網(wǎng)絡(luò)的焦點(diǎn)是為了解決“有多少缺陷”的問題，即分割從背景中修正缺陷區(qū)域，獲取位置、類別、屬性和缺陷的其他信息。

• ShuffleNet ShuffleNet 是一種計(jì)算效率高的輕量級(jí)網(wǎng)絡(luò)，它采用了逐點(diǎn)組卷積和通道 shuffle 兩種新方法來保證計(jì)算精度并有效降低計(jì)算成本

• Faster RCNN Faster RCNN 是在 Fast RCNN 的基礎(chǔ)上引入了區(qū)域提議網(wǎng)絡(luò)（RPN），將生成區(qū)域推薦的步驟放入神經(jīng)網(wǎng)絡(luò)中，在端到端的學(xué)習(xí)模式下實(shí)現(xiàn)了幾乎無成本的區(qū)域推薦算法，極大地提高了目標(biāo)檢測的速度，還提到了滑動(dòng)窗口方法。

• 全卷積網(wǎng)絡(luò) 在 FCN 中，一種端到端的圖像分割方法，網(wǎng)絡(luò)中的所有層都是卷積層；網(wǎng)絡(luò)主要使用三種技術(shù)：卷積、上采樣和跳過層；可以通過讓網(wǎng)絡(luò)做像素級(jí)預(yù)測直接得到標(biāo)簽圖。核心思想之一是反卷積層，增加了數(shù)據(jù)規(guī)模，從而可以輸出準(zhǔn)確的結(jié)果。

• Mask RCNN Mask RCNN 是 Faster RCNN 的一種擴(kuò)展形式，它為兩階段框架網(wǎng)絡(luò)集成了目標(biāo)檢測和實(shí)例分割功能：第一階段掃描圖像并生成候選框（建議框可能包含目標(biāo)區(qū)域），第二階段分類候選框并生成邊界框和掩碼。

• YOLO YOLO （You Only Look Once）是一種單級(jí)目標(biāo)檢測器，用于實(shí)現(xiàn)兩個(gè)目標(biāo)（即速度和準(zhǔn)確性）。它將對(duì)象檢測定義為一個(gè)回歸問題，圖像輸入卷積神經(jīng)網(wǎng)絡(luò)，并預(yù)測每個(gè)網(wǎng)格的類概率和邊界框。

無監(jiān)督方法

• Autoencoder 編碼器和解碼器是自編碼器的兩個(gè)核心部分。其中，encoder 對(duì)應(yīng)網(wǎng)絡(luò)模型中的隱藏層，用于學(xué)習(xí)輸入信號(hào)的低維特征；解碼器對(duì)應(yīng)模型中的輸出層，用于盡可能地再現(xiàn)輸入信號(hào)。因此，使編碼器能夠?qū)W習(xí)輸入信號(hào)良好的低維特征并重構(gòu)輸入信號(hào)是自編碼器的最終目標(biāo)。

• 生成對(duì)抗網(wǎng)絡(luò) 生成對(duì)抗網(wǎng)絡(luò)由兩個(gè)參與者組成：生成器和鑒別器。生成器用于獲取樣本數(shù)據(jù)的分布，鑒別器用于估計(jì)樣本訓(xùn)練數(shù)據(jù)的概率。該模型的最終目標(biāo)是學(xué)習(xí)真實(shí)數(shù)據(jù)的內(nèi)在規(guī)律，預(yù)測和估計(jì)真實(shí)數(shù)據(jù)的分布或密度，并根據(jù)學(xué)到的知識(shí)生成新的數(shù)據(jù)，即生成對(duì)抗網(wǎng)絡(luò)制造數(shù)據(jù)。

• 深度信念網(wǎng)絡(luò) 深度信念網(wǎng)絡(luò)由多個(gè)RBM（受限玻爾茲曼機(jī)）組成，整個(gè)網(wǎng)絡(luò)的訓(xùn)練是通過逐層單獨(dú)訓(xùn)練 RBM 來完成的。

缺陷檢測需要的工具

缺陷檢測落地需要非常多的工具支撐：

• 圖像采集：相機(jī)、運(yùn)動(dòng)設(shè)備、光學(xué)控制；
• 數(shù)據(jù)托管：服務(wù)器、數(shù)據(jù)庫、版本管理、數(shù)據(jù)積累；
• 數(shù)據(jù)處理：圖像分析、定位、裁剪；
• 數(shù)據(jù)標(biāo)注：適配各種任務(wù)、半自動(dòng)標(biāo)注；
• 數(shù)據(jù)清洗：半自動(dòng)、交叉驗(yàn)證、一致性分析；
• 缺陷生成：傳統(tǒng)方法、融合、GAN；
• 訓(xùn)練框架：分類、分割、檢測、熱圖回歸等；
• 測試框架：多模型測試、指標(biāo)統(tǒng)計(jì)、可視化；
• 部署平臺(tái)：模型融合、模型加速、平臺(tái)移植；
• 前端框架：GUI、數(shù)據(jù)持續(xù)收集、用戶體驗(yàn)。

審核編輯 ：李倩