機器視覺（Machine Vision）是人工智能領域中發展迅速的一個重要分支，目前正處于不斷突破、走向成熟的階段。

一般認為機器視覺“是通過光學裝置和非接觸傳感器自動地接受和處理一個真實場景的圖像，通過分析圖像獲得所需信息或用于控制機器運動的裝置”，即可以理解為是通過工業相機等圖像傳感器采集圖像信息，通過分析處理轉化的圖像信息繼而控制后續的自動化設備的流程動作。

可以看出智能圖像處理技術在機器視覺中占有舉足輕重的位置。

那么機器視覺與圖像處理技術之間的關系和聯系是什么呢？圖像處理技術在機器視覺中有哪些應用呢？

01

圖像處理技術的應用

機器視覺的圖像處理系統對現場的數字圖像信號按照具體的應用要求進行運算和分析，根據獲得的處理結果來控制現場設備的動作，其常見應用如下：

（1）圖像采集

圖像采集就是從工作現場獲取場景圖像的過程，是機器視覺的第一步，采集工具大多為CCD或CMOS照相機或攝像機。

照相機采集的是單幅的圖像，攝像機可以采集連續的現場圖像。就一幅圖像而言，它實際上是三維場景在二維圖像平面上的投影，圖像中某一點的彩色（亮度和色度）是場景中對應點彩色的反映。這就是我們可以用采集圖像來替代真實場景的根本依據所在。

如果相機是模擬信號輸出，需要將模擬圖像信號數字化后送給計算機（包括嵌入式系統）處理。現在大部分相機都可直接輸出數字圖像信號，可以免除模數轉換這一步驟。不僅如此，現在相機的數字輸出接口也是標準化的，如USB、VGA、1394、HDMI、WiFi、Blue Tooth接口等，可以直接送入計算機進行處理，以免除在圖像輸出和計算機之間加接一塊圖像采集卡的麻煩。后續的圖像處理工作往往是由計算機或嵌入式系統以軟件的方式進行。

（2）圖像預處理

對于采集到的數字化的現場圖像，由于受到設備和環境因素的影響，往往會受到不同程度的干擾，如噪聲、幾何形變、彩色失調等，都會妨礙接下來的處理環節。為此，必須對采集圖像進行預處理。常見的預處理包括噪聲消除、幾何校正、直方圖均衡等處理。

通常使用時域或頻域濾波的方法來去除圖像中的噪聲；采用幾何變換的辦法來校正圖像的幾何失真；采用直方圖均衡、同態濾波等方法來減輕圖像的彩色偏離。

總之，通過這一系列的圖像預處理技術，對采集圖像進行“加工”，為體機器視覺應用提供“更好”、“更有用”的圖像。

（3）圖像分割

圖像分割就是按照應用要求，把圖像分成各具特征的區域，從中提取出感興趣目標。在圖像中常見的特征有灰度、彩色、紋理、邊緣、角點等。例如，對汽車裝配流水線圖像進行分割，分成背景區域和工件區域，提供給后續處理單元對工件安裝部分的處理。

圖像分割多年來一直是圖像處理中的難題，至今已有種類繁多的分割算法，但是效果往往并不理想。近來，人們利用基于神經網絡的深度學習方法進行圖像分割，其性能勝過傳統算法。

（4）目標識別和分類

在制造或安防等行業，機器視覺都離不開對輸入圖像的目標進行識別和分類處理，以便在此基礎上完成后續的判斷和操作。識別和分類技術有很多相同的地方，常常在目標識別完成后，目標的類別也就明確了。近來的圖像識別技術正在跨越傳統方法，形成以神經網絡為主流的智能化圖像識別方法，如卷積神經網絡（CNN）、回歸神經網絡（RNN）等一類性能優越的方法。

（5）目標定位和測量

在智能制造中，最常見的工作就是對目標工件進行安裝，但是在安裝前往往需要先對目標進行定位，安裝后還需對目標進行測量。安裝和測量都需要保持較高的精度和速度，如毫米級精度（甚至更小），毫秒級速度。

這種高精度、高速度的定位和測量，倚靠通常的機械或人工的方法是難以辦到的。在機器視覺中，采用圖像處理的辦法，對安裝現場圖像進行處理，按照目標和圖像之間的復雜映射關系進行處理，從而快速精準地完成定位和測量任務。

（6）目標檢測和跟蹤

圖像處理中的運動目標檢測和跟蹤，就是實時檢測攝像機捕獲的場景圖像中是否有運動目標，并預測它下一步的運動方向和趨勢，即跟蹤。并及時將這些運動數據提交給后續的分析和控制處理，形成相應的控制動作。圖像采集一般使用單個攝像機，如果需要也可以使用兩個攝像機，模仿人的雙目視覺而獲得場景的立體信息，這樣更加有利于目標檢測和跟蹤處理。

02

面臨的挑戰

在機器視覺的圖像處理技術的發展中，還存在不少技術瓶頸，如：

某種處理方法往往在研究和開發中表現良好，但在復雜多變的應用環境中，卻不時地出現問題。例如人臉識別系統，在目標配合時識別率可高達95%以上，但在實際監控環境下，識別率就會大大下降。

機器視覺系統要求圖像識別和測量的準確性接近100%，任何微小的誤差都有可能帶來不可預測的后果。例如目標定位的誤差會使裝配出來的設備不符合要求。

視覺檢測設備的實時檢測效率快，圖像采集數據量大，如果圖像的采集速度、處理速度較慢，再加上新近引入的深度學習類算法，加大了系統實時處理的難度，跟不上機器運行和控制的節奏，所以提高圖像處理速度非常重要。

03

提高圖像處理速度的主要方法

目前提高圖像處理速度主要有兩種方法。

一是改進和優化圖像處理算法。該算法應簡單、快速，并考慮到實際效果；二是改進和優化實現算法的手段。

那么，機器視覺檢測設備可以通過哪些方式來提高檢測速度？

1、專用集成電路（ASIC）ASIC是針對于某一固定算法或應用而專門設計的硬件芯片，有很強的實時性。但在實際應用中存在開發周期相對較長、成本高、適應性和靈活性差等缺點。2、現場可編程門陣列（FPGA）FPGA由多個可編程的基本邏輯單元組成的一個2維矩陣，邏輯單元之間以及邏輯單元與I/O單元之間通過可編程連線進行連接。FPGA能在設計上具有很強的靈活性，集成度、工作速度也在不斷提高，可實現的功能也越來越強;同時其開發周期短，系統易于維護和擴展，能夠大大地提高圖像數據的處理速度。3、通用計算機網絡并行處理這種處理結構采用“多客戶機+服務器”的方式，一個圖像傳感器對應一臺客戶機，服務器實現信息的合成，圖像處理的大部分工作由軟件來完成。該結構雖然比較龐大，但升級維護方便、實時性較好。4、數字信號處理器（DSP）DSP是一種獨特的微處理器，是以數字信號來處理大量信息的器件。其工作原理是將接收到的模擬信號轉換為“0”或“1”的數字信號，再對數字信號進行修改、刪除和強化，并在其他系統芯片中把數字數據解譯回模擬數據或實際環境格式，其實時運行速度遠遠超過通用微處理器。但是，DSP的體系仍是串行指令執行系統，而且只是對某些固定的運算進行硬件優化，故不能滿足眾多的算法要求。

實時圖像處理系統中，底層的信號數據量大，對處理速度的要求高，但運算結構相對比較簡單，適合采用FPGA以硬件方式來實現;高層處理算法的特點是處理的數據量相對較少，但算法和控制結構復雜，可使用DSP來實現。所以，可以把二者的優點結合在一起以兼顧實時性和靈活性。