前言

機器視覺技術是通過機器視覺產品，即圖像攝取裝置將被攝取目標轉換成圖像信號，傳送給專用的圖像處理系統，根據像素分布和亮度、顏色等信息，轉變成數字化信號，圖像系統對這些信號進行各種運算來抽取目標的特征，進而根據判別的結果來控制現場的設備動作。

作為工業之眼的機器視覺技術是智能制造時代和工業 4.0 時代實現工業自動化、智能化和互聯化的必要技術手段之一，近年來在汽車制造行業機器視覺技術在自動缺陷檢測、智能識別、智能測量、智能檢測和智能互聯方面飛速發展和迭代更新，機器視覺技術是是人眼在機器上的延伸，是利用機器代替人眼來做測量和判斷的一項綜合技術，它易于信息集成，是實現計算機集成制造的基礎技術。

機器視覺技術的作用是可以提高質量檢測的可靠性，提高生產效率、生產柔性和生產的自動化程度，在危險的工作環境中它可以替代人工視覺進行目視檢查，從而滿足制造過程中人機工程的需求。機器視覺技術的主要功能主要集中在以下 8 個方面。

a.生產過程自動檢測，提高生產效率；

b.質量提升和質量保證；

c.改進生產流程，改善人機工程；

d.零件的精確測量；

e.柔性化和集成化生產；

f.生產過程監控；

g.降低生產成本；

h.縮短產品進入市場的周期時間。

2 機器視覺技術在智能制造中的應用和分類

機器視覺技術是人工智能落地到汽車制造領域中不可或缺的一環，隨著科技日新月異的發展，機器視覺技術在智能制造和工業 4.0 時代在汽車制造行業中應用的比重將會越來越大。

2.1 機器視覺在智能制造中主要應用

目前機器視覺技術主要在電子及半導體、汽車制造、醫藥制造等領域廣泛應用，其中在電子及半導體中的應用約為47%，在汽車制造中的應用約為16%，在醫藥制造行業中的應用約為7%，在其它行業中的應用約為 30%。隨著汽車電動化、網聯化、智能化、共享化浪潮的席卷，機器視覺在汽車制造領域中的應用越來越廣泛和深入，應用占比也越來越重，其在汽車制造智能制造行業中的主要應用如下。

a.引導和定位。一般采用 3D 視覺，準確定位并引導機器手臂尋找物料位置，抓取物料放到指定位置進行上下料操作；

b.外觀檢查。這是取代人眼最多的環節，取代人眼進行零件缺陷檢查，如機加工環節的劃傷、磕碰傷等缺陷，裝配環節多裝、漏裝、錯裝和裝反等缺陷；

c.高精度檢測。測量是工業的基礎，對于人眼無法識別的0.01～0.02 mm甚至微米的高精密度零件必須使用機器識別完成；d.智能識別。對圖像進行處理、分析和理解，識別目標對象，并進行數據的追溯和采集。應用大數據進行快速收斂，在海量信息中尋找關鍵特征。e.智能互聯。主要應用為汽車的無人駕駛技術，在智能制造場景中將操作人員、工藝設備、生產物料、生產環境等數據互聯，通過深度學習、智能優化、智能預測等展示出工業4.0的威力。

2.2 機器視覺和人類視覺的區別與聯系

如表1所示，機器視覺技術相較于人眼有很多的優點和差異，這也是其在工藝制造領域廣泛應用的重要原因。

2.3 工業應用視覺相機分類

機器視覺主要采用的是工業相機，當前世界上工業相機的知名廠家有美國康耐視（Cognex）、美 國 NI（National Instruments）、美國邦納（Banner）、日本基恩士（Keyence）、日本歐姆龍（Omron）、日本松下（Panasonic）、加拿大達爾薩（Teledyne Dalsa） 、瑞士堡盟（Baumer）等公司，汽車行業當前應用美國康耐視和日本基恩士相機居多。如圖1所示，工業相機主要分類如下。

圖1 工業相機主要分類3 機器視覺系統

圖2 機器視覺系統主要構成

如圖2所示，機器視覺系統主要由圖像采集單元、圖像處理單元、圖像處理軟件、網絡通信裝置等構成。圖像采集單元相當于 CCD 或 CMOS 相機和圖像采集卡，將光學圖像轉換為模擬或數字圖像并輸出至圖像處理單元；圖像處理單元類似于圖像采集和處理卡，對圖像采集單元的圖像數據進行實時的存儲，并利用圖像處理軟件進行圖像處理；圖像處理軟件主要在圖像處理單元硬件環境的支持下完成圖像處理功能；網絡通信裝置主要完成控制信息、圖像數據的通信任務。

3.1 圖像采集單元

3.1.1 照明光源

機器視覺中照明光源的主要作用為可以構建足夠的取像環境，保證光線穩定，可以用于突出將要識取物體的顏色；照亮目標，提高目標亮度；形成最有利于圖像處理的成像效果；克服環境光干擾，保證圖像的穩定性；用作測量的工具或參照等。機器視覺的照明光源可分為鹵素燈、白織燈、氙氣閃光燈、激光燈、熒光燈和發光二極管等，其中發光二極管因為體積小、耗電低、使用壽命長、反應迅捷、運行成本低、無毒環保、可制成各種形狀、尺寸及各種照射角度等優點被廣泛采用。

3.1.2 工業相機鏡頭

工業相機鏡頭是獲取圖像的工具，根據光感原理不同可分為互補金屬氧化物半導體（CMOS）和電荷耦合無件（CCD），將光學影像轉化為數字信號的半導體元器件工廠一般采用CCD（使圖像更利于后期處理），獲取信息穩定。如圖3所示，鏡頭按照視場、鏡頭光圈、焦距和接口主要有以下4種分類。

圖3 工業相機鏡頭分類鏡頭的主要技術參數有焦距（EFL），短焦距提供廣角視野 ，而長焦距提供望遠視；視場角（FOV），也叫視野范圍，相機實際拍到區域的尺寸，主要與元件尺寸、相機和元件之間的工作距離、鏡頭的類型等有關，FOV=傳感器尺寸/光學倍率；放大倍率（Magnification）又稱光學放大倍數，像高和物高的大小之比，CCD/FOV，即芯片尺寸除以視野范圍；景深表示聚焦清楚的范圍，指的是物體在對焦清楚時，可移動的范圍；鏡頭接口（Mount）是鏡頭與相機的連接方式，常用的包括 C、CS、F、V、 T2、Leica、M42x1、M75x0.75 等，C 接口是工業鏡頭常用的一種接口；靶面大小是感光元器件對角線尺寸；清晰度是分辨率和反差綜合表現的結果，分辨率代表鏡頭記錄物體細節的能力，分辨率越高的鏡頭成像越清晰；光圈數（F.No）F數值是光通過鏡頭量大小的表示。F數值愈小表示通過的光量多，F數值是焦距長和有效開口的比值，F.No=EFL/D，鏡頭的光圈大小決定圖像的亮度，在拍攝高速運動物體、曝光時間很短的應用中，應該選用大光圈鏡頭，以提高圖像亮度。

3.1.3 照明技術

亮視野和暗視野。亮視野就是直接接收反射光，暗視野則是接收散射光，暗視野則可以觀察到物體的輪廓，把一些結構上的問題顯現出來。

曝光。曝光正常是指不過曝也不欠曝，過曝是指拍的畫面很亮，欠曝是指拍的畫面很暗。偏光技術、偏振片與偏振光。用于減少眩光或鏡面反射，控制從有光澤的元件的鏡面反射的量，光線經偏振片過改變傳播方向，鏡頭前的分析片配合使用。優點是可以使鏡面反射和漫反射分開，缺點是由于偏振片，要求更高的光強度。

3.2 圖像處理單元

圖4 圖像處理流程圖如圖 4 所示，圖像處理過程大致分為 4 個步驟：首先是拍攝，按下快門，拍攝圖片；第二步是傳送，將圖像數據由照相機傳送到控制器；第三步是處理，處理分為前處理，即為對圖像數據進行加工，使其特征更加明顯，測算處理，根據圖像數據對于損傷、尺寸等進行測算；第四步是輸出結果，將處理結果以信號的形式輸出到相連的控制裝置如PLC中。

以康耐視相機為例，圖像處理的方法有圖案匹配（PatMax）、直方圖（Extract Histogram）、找邊或片段（Find Line/Segment）、斑點（Extract Blobs）幾種方式。PatMax圖案工具用來訓練圖案特征，將圖像與圖案庫進行對比，以便驗證或者識別圖像中特定的圖案特征。該工具主要應用于確保在生產線上運行的產品的正確性，或者要辨別哪個產品在正確運行，并將該信息傳達到其他車間設備。相機的接受閾值用于定義在模型圖案和找到的圖案之間必須存在的相似程度。PatMax 圖案與像素格無關，其特征為表現圖像中不同區域間分界線的輪廓以特征為基礎的表現形式比以像素表現形式更快并更準確地被轉換。PatMax 是有效的圖案定位搜索技術，能夠處理旋轉及角度變化等內容，PatMax 也可以考慮或忽略額外特征。

采用直方圖可以判斷特征是否存在，是否有漏裝，直方圖搜索框內的明暗像素總數（像素就是圖像的最小信息單元），打分代表搜索框內白點或黑點的個數，圖5所示為相機直方圖二值化變速箱油泵油封總成零件紅圈內位置，該工位相機采用了直方圖檢測油泵油封總成零件件是否存在漏裝，為防止 PATMAX 失效情況下的補充檢測，采用二值化處理方式，當有油泵油封零件時為黑色，當沒有油泵密封時此區域是純白的（設置閾值為40，分值小于40視為油泵油封零件無漏裝，檢測合格；分值大于 40 則檢測結果判斷為油泵油封零件漏裝，此處打分代表搜索框內白點的個數）；找邊函數用于搜索區域內的邊特征；斑點工具用于查找一組灰階值高（低）于規定閾值的像素組，該函數用于查找暗背景上的亮點。

圖5 相機直方圖二值化油泵油封特征3.3 信息通訊單元

工業相機的常見接口類型主要有模擬接口、Cameralink、Usb2.0、1394a、1394b、CigE、Ethernet 等，目前汽車制造行業現場生產采用的相機主要采用以太網（Ethernet）通訊。

4 機器視覺算法

二值化算法。灰度化是在 RGB（Red，Green，Blue）模型中，如果 R=G=B 時，則彩色表示一種灰度顏色，其中 R=G=B 的值叫灰度值，因此，灰度圖像每個像素只需一個字節存放灰度值（又稱強度值、亮度值），灰度范圍為0~255。一般常用的是加權平均法來獲取每個像素點的灰度值。圖像的二值化就是將圖像上的像素點的灰度值設置為 0 或255，也就是將整個圖像呈現出明顯的只有黑和白的視覺效果。在數字圖像處理中，二值圖像占有非常重要的地位，圖像的二值化使圖像中數據量大為減少，從而能凸顯出目標的輪廓［7］。在汽車制造過程中如發動機和變速箱涂膠照相檢測、打鋼印號照相照相檢測等就是采用二值化算法進行處理的。

缺陷（瑕疵）檢測算法。采用相機檢測區域的濃淡度，是通過對區域內進行區段劃分，每個區段進行比較檢測。從而檢測出差距大的部分（通過濃度微分判定）。亮度工具根據平均灰度值決定特征存在與否。適用于好元件特征明顯暗于或亮于壞元件特征的情況。通過對產品X、Y、XY、半徑、圓周等任意方向的掃描，可根據檢測對象選擇區段的大小、方向、比較間隔、移動量。用顏色表示瑕疵等級（深藍→淺藍→綠→黃→紅），可以用二維的形式確認瑕疵的范圍和分布。在汽車制造過程中的應用取例主要為根據明暗度確定有無機加工孔，發動機和變速箱安裝零件，是否漏擰螺栓，是否有機加工刀痕等。

深度學習與機器視覺。深度學習是機器學習的一個領域，這種技術可以對相機軟件進行訓練并讓其具備學習能力，深度學習可以通過人工神經網絡等架構完成，通過處理數據和創建用于決策制定的模式，來模仿人類大腦的工作方式。在深度學習算法出來之前，對于視覺算法來說大致可以分為特征感知，圖像預處理，特征提取，特征篩選，推理預測與識別這5個步驟。康耐視相機基于一套最先進的機器學習算法把深度學習作為傳統機器視覺的一種補充，通過樣本對系統進行訓練，以區分可接受的變化和缺陷，專為工廠自動化應用設計，目前已是廣泛測試并優化的可靠軟件解決方案，深度學習算法也用于汽車無人駕駛技術。

卷積神經網絡（CNN）與機器視覺。機器視覺里經常使卷積神經網絡，即 CNN，是一種對人腦比較精準的模擬。實際上在機器視覺里面，可以把卷積當做一個抽象的過程，就是把小區域內的信息統計抽象出來。圖像中不同數據窗口的數據和卷積核（一個濾波矩陣）作內積的操作就叫做卷積。其計算過程又稱為濾波（Filtering），卷積的本質是提取圖像不同頻段的特征。卷積神經網絡的深度太淺的話，識別能力往往不如一般的淺層模型，但如果做得很深，就需要大量數據進行訓練，否則機器學習中的過擬合將不可避免。

5 汽車制造行業中機器視覺技術的應用

5.1 機器視覺技術在汽車發動機制造過程應用

在發動機制造過程中，機器視覺可用于以下場景。缸體缸蓋上下線，機器視覺引導機械手把缸蓋抓取到自動引導車（AGV）上或從 AGV 上取下來。

缸體打鋼印號打印質量檢測。如圖6所示，主要檢測原理為使用 OCR 字符檢測功能建立字符庫，檢測時根據字符庫的內容進行字符比對，得出字符與 PLC 提供的字符進行比對，當相機拍照后檢測到的鋼印號與碼塊中 EUN 碼不一致時，則相機則報警，發動機打入返修岔道或返修區。為了減少機器視覺檢測過程中的誤報警，需要注意以下事項。

a.采用定焦鏡頭提升拍照穩定性；

b.相機程序中“分段讀取分別比對”比“整條讀取比對”更能提高檢測準確度，建議采用前者；c.缸印號面有水漬、油漬、銹蝕、雜質，會影響照相檢測效果，保持鋼印面清潔度；d.鋼印號打號頭反光和位置不穩定會影響照相檢測效果，打號頭需涂上黑色防止反光并保持位置穩定或相機軟件程序設置延時拍照；e.鋼印號字符質量穩定性會影響照相檢測效果，相機軟件需要深度學習持續訓練模板。

圖6 發動機鋼印號機器視覺檢測

零件漏裝缺陷或型號檢測。檢測過程為對零件的有無和型號進行檢測，如漏裝或型號錯誤則相機報警，待裝配的發動機、變速箱等不能放行到下一工位。也廣泛應用于其它汽車零部件漏裝和型號錯裝檢測（如氣門、油封、柔性盤、缸體、缸蓋、凸輪軸、活塞等零部件型號錯裝檢測，氣門、油封彈簧等零部件漏裝檢測等）。汽車零件的型號識別可通過代碼識別、讀取字符和模式識別3種方式實現。代碼識別主要分為條形碼、二維碼、標簽碼和 DPM 碼；讀取字符分為 OCR 和 OCV2 種方式；模式識別分為顏色和形狀 2 種。

圖7 發動機缸蓋氣門桿有無及型號機器視覺檢測

如圖 7 為汽車發動機缸蓋氣門桿型號和有無檢測，一開始為色標進行視覺防錯識別，因為相機檢測誤報警較多，更改為字符進行視覺防錯識別。汽車零件上用于機器視覺識別的字符和色標建議采用差異大的組合進行防錯 ，字符件不建議組合為 1/7、2/3/5/6、8/0，其余字符組合均可；色標件建議組合為白/藍、白/紅、 藍/黃、紅/黃組合，其余組合差異較小，采用相機進行視覺防錯時誤報警較多，現場參考件盡量與正常件狀態保持一致。零件油太多容易反光時，相機可選擇采用穿透性強的紅外光源。

涂膠質量照相檢測。如發動機油底殼、油封、罩蓋、前蓋涂膠等。視覺檢測防錯過程為照相檢測涂膠軌跡與斷膠，通過檢測得出膠線軌跡，對整個軌跡進行檢測，任意點出現軌跡偏移或斷膠則相機報警，工件不能流入到下一個工位。

圖8 發動機前蓋涂膠軌跡和斷膠機器視覺檢測

如圖8所示為發動機前蓋涂膠相機檢測。采用工業相機進行涂膠質量檢測時涂膠軌跡和涂膠質量不穩定對相機檢測效果有影響，如較小區域膠條過短、膠條起始粗、結尾細、重疊、拖尾、軌跡較差等情況出現時相機檢測誤報警率高，需要對相機參數進行調整；涂膠頭歪斜或清潔不干凈涂膠軌跡偏相機誤報警率高，需要每班或長時間停機時對涂膠頭進行及時清理和檢查；油底殼涂膠這種黑底黑膠的視覺防錯檢測，采用偏振片能更突出膠條輪廓。發動機缸體軸瓦分級字符比對視覺檢測。

檢測原理：使用 OCR 字符檢測功能建立字符庫，檢測時，根據字符庫的內容進行字符比對，得出字符同時讀取二維碼信息，進行相互驗證保證萬無一失。視覺檢測技術方面主要注意相機檢測程序中曝光度參數合理設置和模板設置。

發動機活塞和連桿瓦蓋安裝方向比對視覺檢測。檢測原理為采用形狀模式識別與標準特別比較，設置自己的模板，進行特征點比對如不一致則相機拍照后報警，發動機打入返修岔道或環線。視覺檢測技術方面主要注意相機檢測程序中曝光度參數合理設置和模板設置。

發動機和變速箱車間也采用3D相機進行涂膠檢測，搖臂安裝狀態檢測和機器人自動抓取等，如 圖9所示為3D相機引導發動機高壓油泵涂膠。

圖9 3D機器視覺技術在發動機涂膠中引導追隨中的應用5.2 機器視覺技術在汽車變速箱制造過程中的應用

機器視覺在變速箱制造車間主要的應用場景為缺陷檢查、防錯、定位、測量和二維碼識別。防錯是通過特征等對比分析，判斷工件有無、裝反、裝不到位或型號差異；定位是通過二維、三維定位輸出工件坐標值以引導機器運動路徑；測量是通過對產品進行檢測，獲得所需的各種參數用于質量判斷及工藝改進；二維碼識別是讀取產品一維碼、二維碼，獲取產品型號并進行追溯。圖10為某變速箱裝配車間 50 多個相機的應用分布情況，主要用于檢測工件是否安裝到位、工件有無和型號防錯三種應用。

機器視覺定位方面的應用是零件定位及抓取料、機器路徑引導。如變速箱殼體總成和變扭器殼體總成上下線，機器視覺引導機械手把變速箱殼體總成和變扭器殼體總成抓取到 AGV 上，或從AGV上抓取下來。

圖10 機器視覺技術在某變速箱車間應用類別分布檢測 KIT 盤或配餐盒中零件正確性。檢測KIT 盤或配餐盒控制閥體和電磁控制閥體的閥芯、彈簧、悶蓋等零件有無或放置位置是否正確，拍照結果與標準模板比較，如不一致則相機報警，KIT盤或配餐盒無法流入到下一個工位。

零件檢測測量，如通過檢測卡簧2個孔之間的距離判斷卡簧是否安裝到位等。

檢測變速箱太陽齒輪有無和差速器型號是否正確，卡簧是否漏壓裝、裝不到位等。

檢測電磁閥體線束卡扣是否漏安裝、是否未安裝到位。如圖11所示根據固定范圍內的彩色直方圖檢測區域，卡扣到位及不到位彩色直方圖 red值小于一定數值為正確，red 值大于一定數值為不到位。例如，根據不到位缺陷件情況設置判斷閾值為 180，直方圖檢測區域 red 打分值小于 180 為到位，red 打分值大于180為不到位，判斷閾值需要根據實際缺陷件情況進行設置和驗證。

圖11 采用機器視覺技術檢測變速箱線束卡扣是否安裝到位或漏安裝檢測電子閥體壓裝水平度。檢測原理為首先建立圖案模型，然后對圖案進行定位，判斷旋轉角度，進行是否合格判斷，如不合格則相機報警，工件不會流入到下一個工位。CARE工位和終檢工位客戶特性和質量缺陷檢測。如機加工光孔、螺紋孔是否漏加工，變速箱封堵和壓力測試塞是否漏擰或漏安裝，變速箱線束接頭插針是否歪斜等均可以采用機器視覺進行防錯。

圖12 照相機開動率影響潛在因素匯總如圖12所示為某車間機器視覺應用過程中的一年內相機誤報警影響設備開動率的影響因素分布。在圖像捕獲階段光源亮度、圖像定位、零件來料表面質量的一致性、零件表面是否帶油、曝光量、焦距都會影響拍照質量，而相機的視野會影響到成像的范圍。針對程序造成的相機誤報警問題，主要通過增加訓練樣本量，根據樣本數據優化參數；針對來料差異造成的相機誤報警問題，主要通過優化相機參數（如曝光量、判斷閾值等）；針對光線造成的相機誤報警問題，主要對相機所在工位增加黑箱，保證光線穩定性，或者考慮對部分天窗進行有色處理。

5.3 機器視覺技術在汽車整車制造過程中的應用

機器視覺技術在汽車整車制造工程的車身、油漆、沖壓和總裝中也有著廣泛的應用。主要應用于汽車制造質量缺陷檢測，如零件錯裝、漏裝和裝反，螺紋孔有無、加工刀紋、裂紋、毛刺、鎖孔、焊接質量等；二維、三維視覺測量，可實現汽車零部件 3D 尺寸檢測，組合件尺寸檢測、測量、面板檢測、車身平整度檢測等；視覺定位或引導系統，機器人二維定位系統如自動擰螺絲機、自動焊錫機、自動點膠機，機器人三維視覺引導系統，如自動引導涂膠、零部件加工、分揀和組裝；設備診斷、測試、維護；機器人控制、CNC 加工；物料搬運設備，如零件分揀、碼垛和拆垛等；設備運動控制，如汽車自動駕駛、自動操作等；連續處理和批處理等。

6 機器視覺在汽車制造應用中未來發展趨勢

機器視覺技術在汽車制造行業未來的應用方面的發展趨勢如下。a.汽車零件的無序零件定位抓取；b.汽車零件的表面缺陷檢測；c.基于深度學習的防錯檢測；d.汽車零件尺寸的智能測量；e.基于復雜邏輯的智能化判斷的智能檢測；f.智能互聯技術和無人駕駛等。7 結束語

本文通過機器視覺技術基礎理論及其在汽車制造領域的分析研究，對其作用和應用過程中實際問題解決方法進行總結以及未來發展趨勢進行了預測，利用機器視覺技術可有效降低汽車制造生產成本、提高生產效率、生產柔性和生產自動化程度，從而為汽車制造行業電動化、網聯化、智能化、共享化發展奠定堅實的基礎，促進汽車制造行業更高、更快、更好、更可持續發展。