視覺系統的構成

從機器視覺的定義可以推測出，一個攝像機和一個處理器結合在一起形成一個視覺系統。然而，這只是部分完整的描述。確實，視覺系統需要攝像機和處理器，但還有更多的組成部分，如圖8所示。

攝像機需要鏡頭來形成光學圖像。鏡頭必須提供合適的工作距離（鏡頭到場景的距離），正確的放大倍率，使場景填滿攝像機的視野，并具備分辨細節的能力。還需要光源，以確保攝像機獲得足夠的合適照明，以創建可用且可靠的圖像。 攝像機和處理器之間需要有一個接口。還需要軟件來執行所需的應用程序分析。最后，處理器必須支持與其他連接設備所需的輸入和輸出。

視覺系統的類型

通常攝像機和處理器是分開的。這使得攝像機可以更小，而處理器則具備所有所需的計算能力和輸入輸出功能。它還允許一個處理器為兩個或多個攝像機提供服務。這種類型的視覺系統的常見形式是使用個人計算機作為處理器（見圖9）。基于個人計算機的視覺系統提供了最大的靈活性。有許多攝像機接口可供選擇，許多不同的軟件包可供選擇，并且輸入輸出配置具備顯著的靈活性。然而，這種靈活性增加了應用程序的工程化難度。為了使此配置與更苛刻的環境兼容，有可靠的工控計算機可供選擇。

類似的配置是用專有處理器替換個人計算機（見圖10）。這種處理器帶有專有軟件。它可以使用標準或專有攝像機接口，并通常在輸入輸出方面具有靈活性。這種配置通常是為工廠環境設計的。與基于個人計算機的視覺系統相比，應用程序的工程化難度較低。

還有一種趨勢是將攝像機和處理器合并為一個緊湊的設備，稱為智能相機或智能傳感器（見圖11）。這對于單個攝像機應用和物聯網設備已經變得非常有效。由于緊湊的尺寸，處理和輸入輸出受到限制。雖然智能相機有時配備了內置照明，但通常還需要其他光源。在大多數智能相機中，軟件已內置，使得這些是應用最簡便的視覺系統。有一些產品專為OEM設計，他們可以承擔更多的工程化工作，這些產品不提供預裝軟件。

這是一類是應用特定的機器視覺（ASMV）系統。圖12顯示了一個示例。這是一個為特定應用設計的視覺系統。除了安裝和產品特定配置外，幾乎不需要任何工程化工作就可以直接使用。ASMV的更高成本可以抵消幾乎不需要應用工程化的優點。此外，相對于僅為一次安裝設計的其他視覺系統，更全面的現場支持也是可用的。

最后一類是嵌入式視覺系統。對于什么是嵌入式視覺系統，目前并沒有完全一致的定義。實際上，我們可以認為它是一個設計用于集成到最終產品中的視覺系統，并且攝像機和處理器緊密耦合，如圖13所示。主要是為了OEM將其集成到產品中。

攝像機

讓我們更詳細地了解一下攝像機。圖14展示了攝像機的組成部分。

圖像傳感器是攝像機的主要組件，賦予攝像機大部分重要的特性。

電子元件控制圖像傳感器的時序，調節圖像傳感器的增益等功能，并提供攝像機獨有的其他特性。

鏡頭支架用于安裝鏡頭，將光學圖像投射到圖像傳感器上。

接口將攝像機連接到處理器。

圖像傳感器

圖像傳感器如圖15所示，由一組傳感元件組成，放大圖中顯示了這些元件，并帶有電路，用于從元件中讀取信號并將其轉換為數字信號。

當暴露在光線下時，傳感元件將入射光子轉換為電荷（見圖16）。

在曝光過程中，這些光生電子在傳感元件中積累。當傳感元件讀出時，其電壓與光生電子的數量成正比。讀出后，傳感元件被重置，清除所有光生電子，使其準備好進行下一次曝光。 你可以正確推斷傳感元件實際上是一個光子計數器。這幾乎正確，除了它是一個不完美的光子計數器。它并不能計算每個光子。它計算的光子百分比稱為其量子效率，簡稱QE。量子效率隨著光的波長而變化，如圖17所示。

彩色成像

制造彩色相機的圖像傳感器有兩種主要方法。第一種方法是使用三個單獨的圖像傳感器和光學部件，將紅、綠和藍三個顏色分量分離為單獨的方向，使得每個傳感器只感測其中一種顏色（見圖19）。每個像素有三個值，分別來自這三個圖像傳感器。

另一種方法是在每個單獨的感測元件上放置紅、綠和藍色濾光片。這些濾光片的常見模式是Bayer模式（見圖18）。每個像素仍然有三個值：一個通過其顏色濾光片直接感測的值，另外兩個顏色值是通過相鄰像素進行插值得到的。

高動態范圍

相機中的噪點水平通常限制了每個像素的數據為8或10位。這相當于256或1,024個灰度級別。對于許多應用來說，這完全足夠。然而，有些應用需要能夠感知圖像中既在高光（明亮）區域，也在陰影（暗）區域中的細節。 解決這一挑戰的方法是高動態范圍（HDR）成像。這涉及拍攝兩張（或更多）曝光時間不同的照片。較短曝光時間的像素的高位將保留高光的細節，而較長曝光時間的像素的低位將保留陰影中的細節。通過將每次曝光得到的位組合，生成一個新的像素值，從而獲得更高的動態范圍，如圖20所示。

鏡頭安裝

機器視覺相機上使用了許多不同的鏡頭安裝方式，但最常見的是C安裝。鏡頭安裝方式的特點在于其螺紋（除非是卡口式安裝）和其法蘭焦距。法蘭焦距是從鏡頭安裝座到圖像傳感器的距離。 對于C安裝，螺紋是1英寸×24牙/英寸。法蘭焦距為17.52毫米（0.69英寸）。另一種常見的鏡頭安裝方式是CS安裝。它與C安裝具有相同的螺紋，但其法蘭焦距為12.52毫米。 鏡頭必須安裝到相機上。通常，兩者具有相同的安裝方式。然而，有時在鏡頭和相機具有不同安裝方式時會使用適配器。

相機接口

有許多種相機接口。以下六種是機器視覺中常用的接口：

Camera Link

GigE Vision

USB3 Vision

CoaXPress

Camera Link HS

MIPI

這些標準大多有不同的選項，有些選項還非常多。因此，詳細介紹每個接口超出了本文的范圍。這些接口在以下重要特性上有所不同：

帶寬/速度 - 圖像數據從相機傳輸到處理器的速度有多快。

延遲 - 圖像數據啟動后到完成之間的時間。延遲的變化通常是最重要的因素。

數據可靠性 - 如果數據在傳輸過程中損壞，接口是否能夠檢測到并進行糾正？

電纜長度 - 可以使用多長的電纜，仍然具有足夠的帶寬和數據可靠性。

電纜/連接器 - 使用何種類型的電纜和連接器。許多標準提供了不同的電纜和連接器選項。大多數接口標準還支持使用光纖電纜。

幀抓取卡（圖像采集卡） - 接口是否需要使用一種特殊的適配器卡，稱為幀抓取卡。

電源 - 相機的電源是否可以通過與數據共用的同一電纜供應。

另一個重要的接口標準是GenICam。GenICam不是物理標準，與電纜、數據傳輸速率等無關。它是關于相機向所連接的處理器提供相機特性信息的標準。根據GenICam，相機包含一個可以被處理器讀取的XML文件。該文件詳細描述了相機及其所有設置。處理器中的軟件可以查詢此文件，了解與相機進行接口和控制所需的所有信息。即使來自同一制造商的不同相機在控制方式上也可能不同。GenICam使視覺系統開發人員無需關心連接的是哪種相機，從而可以編程開發應用程序。

鏡頭

鏡頭是視覺系統的關鍵組件。它與相機的圖像傳感器一起決定了工作距離和包含場景的視場。鏡頭及其光圈還決定了有多少光能傳遞到圖像傳感器上，景深或對焦范圍以及投射到圖像傳感器上的光學圖像中的細節分辨率。 大多數經驗豐富的機器視覺工程師已經學會如何為大多數應用選擇鏡頭。對于剛接觸機器視覺或者對于非常復雜的應用，可能需要尋求經驗豐富的光學工程師的幫助。 有三種基本類型的鏡頭：普通或內心鏡頭（圖22），微距鏡頭（圖23）和遠心鏡頭（圖25）。大多數應用可以通過使用內心鏡頭來解決。這些鏡頭可以在一定范圍的工作距離內調焦，延伸至無限遠，并且通常具有可調光圈。

由于內心鏡頭不能實現高放大倍數的近距離對焦，所以微距鏡頭被設計來滿足這個需求。放大倍數是圖像尺寸與成像場景尺寸之間的比例。微距鏡頭通常適用于0.05倍至10倍的放大倍數范圍。如果需要更高的放大倍數，顯微鏡通常是更好的選擇。 遠心鏡頭是機器視覺中常用的特殊鏡頭。與內心鏡頭不同，遠心鏡頭在其景深范圍內，其放大倍數基本保持不變。這意味著測量結果幾乎不受工件高度的輕微變化影響，并且沒有透視畸變。 雖然變焦鏡頭在機器視覺中似乎是理想的選擇，因為可以根據需要設置所需的視場大小，但實際上它們只被稀少地使用。由于有一個額外的調整，很難確保鏡頭設置到正確的放大倍數，并且可能會影響校準。此外，變焦鏡頭往往比內聚焦鏡頭更大、更重，而且價格更高。

照明

對于必須可靠工作的機器視覺系統來說，良好的照明是至關重要的。這就是為什么工業機器視覺系統總是采用專門設計的照明，并盡量減少環境光的影響。 一些較新的發展，如自動駕駛車輛，幾乎完全使用環境光。 對于專門設計的照明，有幾種不同的照明技術。第一種是前照明（見圖24）或背照明（見圖26）。在前照明中，光源位于與相機相同的場景一側。在背照明中，光源位于與相機相反的場景一側。

照明中的另一個區分方式是明場和暗場（見圖27）。明場照明是指預期能夠反射（通過鏡子）或直接傳入相機視野的任何光線。

暗場照明是指放置光源的方式，以使其不會傳遞或反射（通過鏡子）到相機的視野中。 如圖28所示，照明技術的另一個區分方式是光線的指向性或擴散性。定向光照亮場景上的每一點都使用單一光線，或者更常見的是使用一組光線，這些光線在非常狹窄的角度范圍內傳播。

擴散照明使用來自廣泛角度范圍的光束照亮場景上的每一點。 定向照明傾向于產生明顯的陰影，并使圖像中的紋理凸顯出來。擴散照明會產生淡淡的陰影或不會有陰影，并消除使圖像中的紋理顯現的明暗效果。 照明設計的最后一個特征是顏色或所使用的光譜。大多數機器視覺系統在可見光范圍內工作。對于單色成像，光源通常是紅色、綠色或藍色等窄帶波長。對于彩色成像，需要白光。越來越多的應用使用紅外波長。由于人類無法在這個光譜區域內看到，需要一些實驗來了解其工作情況。紫外線光也常被使用，通常用于使零件發出熒光。 這意味著視覺系統工程師有各種各樣的光源可供選擇，涵蓋了各種尺寸、各種顏色，并提供了各種照明特性。要了解如何選擇合適的光源需要學習和經驗。初入機器視覺領域的人在選擇光源時最好與有經驗的人合作。