導(dǎo)讀

創(chuàng)建異常檢測模型，實(shí)現(xiàn)生產(chǎn)線上異常檢測過程的自動(dòng)化。在選擇數(shù)據(jù)集來訓(xùn)練和測試模型之后，我們能夠成功地檢測出86%到90%的異常。

介紹

異常是指偏離預(yù)期的事件或項(xiàng)目。與標(biāo)準(zhǔn)事件的頻率相比，異常事件的頻率較低。產(chǎn)品中可能出現(xiàn)的異常通常是隨機(jī)的，例如顏色或紋理的變化、劃痕、錯(cuò)位、缺件或比例錯(cuò)誤。

異常檢測使我們能夠從生產(chǎn)流程中修復(fù)或消除那些處于不良狀態(tài)的部件。因此，由于避免生產(chǎn)和銷售有缺陷的產(chǎn)品，制造成本降低了。在工廠中，異常檢測由于其特點(diǎn)而成為質(zhì)量控制系統(tǒng)的一個(gè)有用工具，對機(jī)器學(xué)習(xí)工程師來說是一個(gè)巨大的挑戰(zhàn)。

不推薦使用監(jiān)督學(xué)習(xí)，因?yàn)椋涸诋惓z測中需要內(nèi)在特征，并且需要在完整數(shù)據(jù)集(訓(xùn)練/驗(yàn)證)中使用少量的異常。

另一方面，圖像比較可能是一個(gè)可行的解決方案，但標(biāo)準(zhǔn)圖像處理多個(gè)變量，如光線、物體位置、到物體的距離等，它不允許與標(biāo)準(zhǔn)圖像進(jìn)行像素對像素的比較。在異常檢測中，像素到像素的比較是不可或缺的。

除了最后的條件外，我們的建議包括使用合成數(shù)據(jù)作為增加訓(xùn)練數(shù)據(jù)集的方法，我們選擇了兩種不同的合成數(shù)據(jù)，隨機(jī)合成數(shù)據(jù)和相似異常合成數(shù)據(jù)。(詳見數(shù)據(jù)部分)

這個(gè)項(xiàng)目的目標(biāo)是使用無監(jiān)督學(xué)習(xí)和合成數(shù)據(jù)作為數(shù)據(jù)增強(qiáng)方法來分類異常 — 非異常。

背景研究

異常檢測與金融和檢測“銀行欺詐、醫(yī)療問題、結(jié)構(gòu)缺陷、設(shè)備故障”有關(guān)(Flovik等，2018年)。該項(xiàng)目的重點(diǎn)是利用圖像數(shù)據(jù)集進(jìn)行異常檢測。它的應(yīng)用是在生產(chǎn)線上。在項(xiàng)目開始時(shí)，我們熟悉了自動(dòng)編碼器在異常檢測中的功能和架構(gòu)。作為數(shù)據(jù)計(jì)劃的一部分，我們研究了包括合成噪聲圖像和真實(shí)噪聲圖像的重要性(Dwibedi et al, 2017)。

數(shù)據(jù)計(jì)劃是這個(gè)項(xiàng)目的重要組成部分。選擇一個(gè)數(shù)據(jù)集，有足夠的原始圖像和足夠的真實(shí)噪聲的圖像。同時(shí)使用合成圖像和真實(shí)圖像。在處理真實(shí)圖像時(shí)，這些數(shù)據(jù)需要對目標(biāo)有全覆蓋，但是在尺度和視角方面無法完全獲得。“……要區(qū)分這些實(shí)例需要數(shù)據(jù)集對對象的視角和尺度有很好的覆蓋”(Dwibedi et al, 2017)。

合成數(shù)據(jù)的使用允許“實(shí)例和視角的良好覆蓋”(Dwibedi et al, 2017)。合成圖像數(shù)據(jù)集的創(chuàng)建，包括合成渲染的場景和對象，是通過使用Flip Library完成的，這是一個(gè)由LinkedAI創(chuàng)建的開源python庫。“剪切，粘貼和學(xué)習(xí)：非常簡單的合成實(shí)例檢測”，通過這些數(shù)據(jù)的訓(xùn)練和評估表明，使用合成數(shù)據(jù)集的訓(xùn)練在結(jié)果上與在真實(shí)圖像數(shù)據(jù)集上的訓(xùn)練具有可比性。

自動(dòng)編碼器體系結(jié)構(gòu)“通常”學(xué)習(xí)數(shù)據(jù)集的表示，以便對原始數(shù)據(jù)進(jìn)行維數(shù)縮減(編碼)，從而產(chǎn)生bottleneck。從原始的簡化編碼，產(chǎn)生一個(gè)表示。生成的表示(重構(gòu))盡可能接近原始。

自動(dòng)編碼器的輸入層和輸出層節(jié)點(diǎn)數(shù)相同。“bottleneck值是通過從隨機(jī)正態(tài)分布中挑選出來的”(Patuzzo, 2020)。在重構(gòu)后的輸出圖像中存在一些重構(gòu)損失(Flovik, 2018)，可以通過分布來定義原始圖像輸入的閾值。閾值是可以確定異常的值。

去噪自動(dòng)編碼器允許隱藏層學(xué)習(xí)“更魯棒的濾波器”并減少過擬合。一個(gè)自動(dòng)編碼器被“從它的一個(gè)損壞版本”來訓(xùn)練來重建輸入(去噪自動(dòng)編碼器(dA))。訓(xùn)練包括原始圖像以及噪聲或“損壞的圖像”。隨著隨機(jī)破壞過程的引入，去噪自編碼器被期望對輸入進(jìn)行編碼，然后通過去除圖像中的噪聲(破壞)來重建原始輸入。

用去噪自編碼器提取和組合魯棒特征，去噪自編碼器應(yīng)該能夠找到結(jié)構(gòu)和規(guī)律作為輸入的特征。關(guān)于圖像，結(jié)構(gòu)和規(guī)律必須是“從多個(gè)輸入維度的組合”捕獲。Vincent等(2020)的假設(shè)引用“對輸入的部分破壞的魯棒性”應(yīng)該是“良好的中間表示”的標(biāo)準(zhǔn)。

在這種情況下，重點(diǎn)將放在獲取和創(chuàng)建大量原始和有噪聲圖像的能力上。我們使用真實(shí)數(shù)據(jù)和合成數(shù)據(jù)創(chuàng)建了大量的圖像來訓(xùn)練我們的模型。

根據(jù)Huszar(2016)的說法，擴(kuò)張卷積自動(dòng)編碼器“支持感受野的指數(shù)擴(kuò)展，而不丟失分辨率或覆蓋范圍。“保持圖像的分辨率和覆蓋范圍，對于通過擴(kuò)大卷積自動(dòng)編碼器重建圖像和使用圖像進(jìn)行異常檢測是不可或缺的。這使得自動(dòng)編碼器在解碼器階段，從創(chuàng)建原始圖像的重建到更接近“典型”自動(dòng)編碼器結(jié)構(gòu)可能產(chǎn)生的結(jié)果。

Dilated Convolutional Autoencoders Yu et al.(2017)，“Network Intrusion Detection through Stacking Dilated Convolutional Autoencoders”，該模型的目標(biāo)是將無監(jiān)督學(xué)習(xí)特征和CNN結(jié)合起來，從大量未標(biāo)記的原始流量數(shù)據(jù)中學(xué)習(xí)特征。他們的興趣在于識(shí)別和檢測復(fù)雜的攻擊。通過允許“非常大的感受野，而只以對數(shù)的方式增加參數(shù)的數(shù)量”，Huszar (2016)，結(jié)合無監(jiān)督CNN的特征學(xué)習(xí)，將這些層堆疊起來(Yu et al.， 2017)，能夠從他們的模型中獲得“卓越的性能”。

技術(shù)

Flip Library (LinkedAI)：https://github.com/LinkedAi/flip

Flip是一個(gè)python庫，允許你從由背景和對象組成的一小組圖像(可能位于背景中的圖像)中在幾步之內(nèi)生成合成圖像。它還允許你將結(jié)果保存為jpg、json、csv和pascal voc文件。

Python Libraries

在這個(gè)項(xiàng)目中有幾個(gè)Python庫被用于不同的目的：

可視化(圖像、指標(biāo))：

OpenCV

Seaborn

Matplotlib

處理數(shù)組：

Numpy

模型：

TensorFlow

Keras

Random

圖像相似度比較：

Imagehash

PIL

Seaborn (Histogram)

Weights and Biases

Weights and bias是一個(gè)開發(fā)者工具，它可以跟蹤機(jī)器學(xué)習(xí)模型，并創(chuàng)建模型和訓(xùn)練的可視化。它是一個(gè)Python庫，可以作為import wandb導(dǎo)入。

它工作在Tensorflow, Keras, Pytorch, Scikit，Hugging Face，和XGBoost上。使用wandb.config配置輸入和超參數(shù)，跟蹤指標(biāo)并為輸入、超參數(shù)、模型和訓(xùn)練創(chuàng)建可視化，使它更容易看到可以和需要更改的地方來改進(jìn)模型。

模型&結(jié)構(gòu)

我們基于當(dāng)前的自動(dòng)編碼器架構(gòu)開始了我們的項(xiàng)目，該架構(gòu)專注于使用帶有卷積網(wǎng)絡(luò)的圖像(見下圖)。經(jīng)過一些初步的測試，基于研究(參見參考資料)和導(dǎo)師的建議，我們更改為最終的架構(gòu)。

自編碼器的典型結(jié)構(gòu)

使用擴(kuò)張?zhí)卣?/strong>