在短短幾年內，深度學習軟件已經比任何傳統算法可以更好地對圖像進行分類處理，而且可能很快就可以超越人工檢查。

近年來，寵物食品制造商已經使用機器視覺軟件來驗證狗和貓的食品包裝上是否存在獨特的字符、代碼、顏色和圖形。然而，現在這些公司可以通過使用深度學習視覺軟件驗證包裝上是否存在狗或貓圖像來補充這一過程。

與傳統的圖像處理軟件(依賴于特定任務的算法)不同，深度學習軟件使用多層神經自學習算法網絡，根據人類檢查員標記的圖像來識別好圖像和壞圖像。這些數據集通常包含每個缺陷類型至少100個圖像，通過網絡提供，以創建一個模型，對每個輸入圖像中的對象進行分類，并確保高水平的可預測性。

為了驗證寵物食品包裝上的特定動物照片，復雜的神經網絡必須在訓練階段后的幾個層次上模仿人類的判斷。在高層算法專注于更復雜的特征（如面部，四肢，爪子和尾巴）之前，低層算法會檢查圖像是否有簡單的形狀，如邊緣。然后，其他高層算法可以識別所有照片變形、背景、光照條件、視點和障礙物。最后，頂層算法給出了圖像中動物類型的概率，并驗證它是否存在于特定的動物食品包裝上。所有四個步驟都在0.5到1秒內完成。

Cognex公司視覺軟件營銷總監John Petry解釋說:“許多節點組成每個神經網絡層，每個節點做出一個單一的決定，它們一起識別所有類型的圖像模式，并對圖像的好壞做出判斷?！?/p>

用于機器視覺的深度學習軟件已經存在了十多年，但直到最近幾年才變得對用戶友好和可行。在這短短的時間內，幾個行業的制造商已經開始將其應用于各種各樣的領域，如檢測手術器械上的焊接水坑、驗證汽車座椅組件中多個組件的存在，以及識別反光金屬表面上的不同缺陷。

軟件供應商表示，這些例子代表著第二次機器視覺革命的開始。深度學習不僅對機器視覺的各個方面都有積極的影響——比如精度、相機性能和燈光控制——而且這種技術可以完成過去難以完成或需要太多投資的應用。

起源與開放

深度學習的概念對于機器視覺來說相對較新，但對于機器學習來說絕對不是新概念。深度學習是機器學習的一種特殊類型，是人工智能的一種。

丹佛的集成商Artemis Vision總裁Tom Brennan說道：“用于深度學習的當前神經網絡算法非常好，但如果你使用圖靈測試作為晴雨表，它們還沒有達到人工智能的水平，目前深度學習在一些醫療設備和制藥應用得到了應用?！?/p>

Brennan說：“圖靈測試要求機器或技術表現出與人類相當的行為，人工智能級別的算法可以直接響應人類智能的任何問題。

最初的計算機視覺深度學習架構是由Kunihiko Fukushima在20世紀80年代引入的新認知。作為一種人工神經網絡，neocognitron已被用于手寫字符和模式識別任務，并作為通常用于分析視覺圖像的更復雜神經網絡的基礎。

開源深度學習軟件最早出現在20世紀90年代，當時出現了許多關鍵的算法突破。從那時起，計算機科學家已經能夠更好地利用巨大的計算能力和數據，這對神經系統的形成至關重要網絡很好地工作。網上可用的開源軟件包括C/ c++和Java庫、框架和工具包。

Cyth Systems首席執行官Andy Long解釋說:“十年前，當深度學習軟件和相關硬件的能力遠遠不夠時，培訓軟件進行深度學習需要大約兩周的時間。到2014年，這花了大約兩天時間，現在不到一天?！?/p>

雄心勃勃的集成商和制造商傾向于從開源軟件開始，因為它不需要許可或特許權使用費。在缺點方面，供應商提供的技術支持很少，在網絡培訓開始之前，最終用戶必須仔細地對幾百到幾千張數據集圖像進行分類。

“Petry指出:“使用開源軟件開始深度學習實踐的公司需要一個真正專家，比如工程學博士。”即使這樣，用戶也很容易花6到12個月的時間來獲得適合應用程序的軟件。還有一個問題是，當需要檢查不同的零件或裝配過程發生變化時，必須重做軟件。

Brennan說，Artemis在兩個深度學習應用程序中使用了開源軟件。在這兩種情況下，Artemis的工程師都需要對軟件進行“大約2%”的修改和微調，以完全適應每個應用程序。

深度學習適用于機器視覺

隨著制造商需要更智能，準確和可重復的視覺系統，深度學習軟件越來越受歡迎。終端用戶最收益的是軟件可以在幾分鐘內自動編程視覺系統。

深度學習最適合涉及可變形對象而非剛性對象的應用。另一個好的應用是驗證在裝配體中存在顏色和紋理變化的許多部件。此外，傳統軟件要求被檢部件具有特定的公差范圍，而深度學習最好由最大且最清晰標記的好的和壞的部分圖像數據集提供。

雖然深度學習通常被認為是化妝品檢驗應用，但Petry說，它也非常擅長確認試劑盒中存在多個物品。例如，確保手術導管是醫療套件的一部分，而不管導管位于何處或其對相機的視角如何。

“從本質上講，深度學習是應用統計學的一項重要工作，”布倫南說。 “[神經網絡中]每個節點的任務是統計地確定與好的或壞的部分最相關的圖像數據。神經算法本身并不聰明，但它學會了以某種方式執行預處理操作，以幫助軟件產生與人們告訴它正確的結果相匹配的結果?！?/p>

供應商表示，對許多公司而言，深度學習已從實驗階段進入體驗階段。這些制造商已經親身體會到，并不是每個應用程序都適合進行深度學習，深度學習也不是能夠解決所有視覺應用程序問題。

最終用戶通常希望對特定的應用程序使用深度學習。然而，供應商知道，為了確定這是最佳選擇，需要進行幾項測試。軟件供應商表示，深度學習軟件比標準軟件靈活得多。布倫南對此表示贊同，尤其是在照明方面。他說，深度學習能更好地通過降低圖像的可變性來控制圖像中的光線。

“他指出:“神經網絡算法可以在明亮或昏暗的光線下分辨出好的和壞的圖像?！薄八麄兡軐W會識別這些光線的差異并不重要，并能準確地對好的和壞的部分進行分類?！?/p>

Teledyne Dalsa亞太區技術總監Yvon Bouchard表示，深度學習主要用于確保整個裝配過程的質量，尤其是零件精加工和最終表面檢測等任務。有時它也被用來幫助“姿態估計”，或估計一個物體的位置和方向。這適用于組裝的部件可能沒有固定或在操作之前需要確定部件的方向。

Teledyne Dalsa的Sherlock 8.0軟件是一種快速應用程序開發工具，它使用傳統的圖像處理功能，并具有深入的學習選項。該公司還為制造商獨特而苛刻的視覺應用開發定制軟件和優化的深度學習模型。

“Sherlock軟件更適合那些想要在一個簡化基本視覺和深度學習過程的環境中進行自己培訓的用戶，”Bouchard解釋道?！瓣P鍵在于，該軟件允許終端用戶訪問所有標準工具，并進行深度學習，以生成特定的解決方案。在許多應用中，傳統的視覺工具執行部分檢查任務，而深度學習處理檢查中難以編碼的部分?！?/p>

Sherlock軟件與帶有單色或彩色格式成像儀的區域和線掃描相機兼容。它直接連接到火線，GigE和USB攝像頭。

Cyth Systems早在2008年就引入了神經視覺（NV）軟件的第一個版本，但由于當時的硬件和技術限制，它沒有像公司所希望的那樣執行。然而到了2014年，第三代NV被開發出來并證明能夠更好地解決復雜的視覺問題。今天，近80％的Cyth客戶在他們的應用程序中使用深度學習。

Long表示，這些客戶包括汽車，食品，航空航天，白色家電和電子產品制造商。后兩者使用深度學習進行裝配驗證，而航空航天公司則依靠它來確保無瑕疵的座椅和發動機。

“幾年前，有機食品種植者開始使用我們在該領域的深度學習軟件來更好地分類其顏色變化過多的水果和蔬菜，”Long說。 “在汽車行業，一位客戶使用深度學習來驗證每個座椅組件是否與正確的車輛一起使用。有些座椅的頭枕上有一個麥克風，麥克風在頭枕的每張訓練照片上都有圓圈，因此軟件知道要查找什么?！?/p>

電子產品客戶使用深度學習來組裝和分類PCB，電阻器和晶體管。食品制造商依賴它，因此確保包裝始終具有最佳美觀并包含正確的食品。

在醫學領域，Artemis開發了一種深度學習應用程序，以幫助制造商檢測焊接中的攪拌，該焊接將金屬銷連接到手術工具的末端鉗口。該工具密封容器以防止出血。

焊接在小而粗糙的表面區域上手動完成，并在使用深度學習軟件之前通過標準機器視覺進行驗證。兩次檢查都在一個小型測試工作站中進行。

另一項Artemis項目涉及使用深度學習軟件來檢測玻璃瓶中的微小缺陷。制藥最終用戶需要完美無缺的小瓶，可以容納材料而不會有任何泄漏。 Brennan說Artemis轉向深度學習，因為它更好地定位僅在某些角度下出現在光線下的缺陷。

“深度學習是確保產品質量的好方法，例如在人們通常進行某種檢查的應用中，”Petry解釋道。 “在整個產品生產之后但在包裝之前驗證組件也非常有用。例如，汽車前燈，徽章和輪子，裝滿各種食物或糖果的盒子，以及裝有支架，管子和夾子等物品的手術包。

兩年前，康耐視開始提供ViDi深度學習庫，并于去年與其旗艦視覺軟件產品VisionPro一起推出。該套件有四個基本工具：化妝品檢查，零件定位，分類和光學字符識別（OCR）。

康耐視ViDi可靠地讀取許多具有挑戰性的日期和批次代碼，以及浮雕和蝕刻文本。它還可以自動檢查復雜的圖案織物并識別缺陷。

ViDi Blue-Locate算法定位零件，計算托盤上的半透明玻璃醫用瓶，并對套件和包進行質量控制檢查。 ViDi Red-通過了解目標區域的不同外觀來分析缺陷或其他感興趣區域。

ViDi Green-Classify根據包裝識別產品，或對可接受或不可接受的異常進行分類，例如焊縫質量。最后，ViDi Blue-Read使用OCR解碼嚴重變形，偏斜和蝕刻不良的代碼。其預訓練字體庫可識別大多數文本，無需額外的編程或字體訓練。

Teledyne的一位客戶最近使用深度學習軟件來解決自動裝配過程中涉及小螺釘的問題。由于螺釘未正確配合，公司會定期遇到停機，從而導致螺釘部分堵塞到組件中的交叉螺紋情況。

“雖然一些傳統的軟件可以檢查螺紋特性，但在這種情況下的問題是螺釘尖端已經在主體上經過模具和圓錐形尖頭穿過，”Bouchard說。 “深度學習是一個更好的選擇，因為尖端的過渡區域可以有無數個可能的形狀。視覺系統可以顯示成千上萬個好的和壞的螺絲尖的例子，這樣可以更容易地快速判斷它是好還是壞。“

挑戰與未來

深度學習給最終用戶帶來了挑戰，而傳統視覺軟件無法輕松解決這些挑戰。 Bouchard表示，大多數用戶缺乏對深度學習取得成功所需要的理解。

“到目前為止，主要問題是缺乏高質量，適當分類的圖像，”Bouchard說。 “典型的深度學習應用程序需要數百甚至數千個圖像樣本。在更困難的情況下或自定義應用程序中，訓練模型可能需要多達一百萬或更多的圖像樣本?！?/p>

龍說，制造商對深度學習的期望是理想主義和現實主義的混合體。這就是他為每個客戶提前解釋其限制和基本流程的原因。 Cyth還對每個應用程序進行了視覺研究，以確定它是否真的是深度學習的候選者。

“該公司向我們發送了要拍照的部件，我們會為每個部件生成50到100個好的和壞的圖像，”Long解釋道。 “在我們的測試之后，我們讓他們知道基于假陰性和誤報百分比的深度學習的成功概率。太多的假陰性令人討厭，但過多的誤報會導致產品質量問題。“

與其他軟件不同，Cyth的神經視覺平臺從生產環境中捕獲圖像，并將這些標記的數據集發送到云進行離線處理。然后將圖像發送回PC，并對軟件進行培訓，以便對裝配線上的零件進行深度學習檢查。

Long說這些圖像是通過紅外線，3D，線掃描或智能相機拍攝的。該軟件僅需25毫秒來分析圖像并確定部件是好（綠色檢查）還是壞（紅叉）。

根據Long的說法，任何擁有產品知識的人都可以訓練系統運行，并且始終如一提供可重復的結果。該軟件還允許最終用戶輕松推出新應用程序，引用舊應用程序并訪問所有檢查結果以進行統計分析。

Inspekto的S70自動機器視覺系統使用一系列深度學習引擎作為其Plug and Inspect軟件的一部分。它可以快速（30到60分鐘）并且經濟高效地安裝和設置，無需任何階段的集成商或人工智能專家。緊湊型系統包括先進的視覺傳感器和鏡頭，照明設備和一組可調節臂。

最終用戶不需要設置任何質量保證參數，因為系統自動適應檢查項目。此外，由于該系統與生產線整合，并且足夠堅固，不受任何環境和環境影響，因此無需將特殊結構放置到位。

該系統已經在歐洲各地的工廠中使用，并且每天都要為Mahle等領先的汽車零部件制造商檢查數十萬種產品。 Inspekto的首席技術官Yonatan Hyatt表示，它提供了越來越多的應用程序，包括完整的歸檔和可追溯性，并且足夠準確，無需將產品脫機進行檢查。此外，該系統可用于手動裝配線，以確保操作員正確執行每項任務。

“非自動機器視覺系統的最終用戶沒有直接與視覺質量保證解決方案（集成商）為生產線開發，并且[可能]對當代深度學習軟件的期望有限，”首席執行官Harel Boren說。 Inspekto。 “但是，他們確實希望軟件[提供]集成商承諾的解決方案?；蛘呤褂蒙疃葘W習引擎陣列的自主視覺系統將徹底解決他們的問題?！?/p>