一、概述

目前傳統的工業視覺產品由于其成像光譜單一的缺點，導致在觀察場景及目標的過程中僅僅能夠獲得單一光譜下有限的信息，對場景中的多維目標信息無法實現廣泛覆蓋。例如，傳統安防過程中受限于可見光成像特性，對暗光環境表現較差；傳統運維過程中受限于紅外光成像特性，對異常發熱目標形貌無法快速分辨；傳統高壓電弧檢測過程中受限于紫外光成像特性，對發出電弧的高壓電力設備的位置無法快速定位。

目前行業內要實現對多種場景的不同光譜特征同時檢測必須攜帶多種光譜設備，不僅操作繁瑣，也不便于攜帶，更提高了使用成本，帶來了諸多不便。因此，能夠在一次成像過程中融入多種光譜特征并加以分辨的創新型設備的問世已經成為成像視覺領域的重中之重。本作品首創性的設計并實現了一款多光譜融合智能成像設備，集合了結構、光學、系統設計三個方面，通過自研的像素級融合算法，以及片上操作系統及數據調度架構的高度配合，實現了成像譜段橫跨可見光、紅外光及紫外光共10400nm波段，在一次成像過程中的將多種光譜圖像特征同時呈現在同一幀圖像中，清晰完全的揭示被觀察場景的可見及非可見信息，并提供同一視場的不同波段的特征點的準確的相對位置，從而從根本上克服了傳統多設備工作方式的效率低下、使用繁雜、準確度差的缺陷。本作品通過像素級融合效果測試、圖像細節增強解析度測試、高精度黑體測溫效果測試，證明了本作品在圖像像素級融合能力，圖像細節及特征解析能力以及溫感探測的高靈敏度與高精度。

本作品使用方便快捷，既減少了現場部署難度和成本，又提高了用戶操作的靈活度，可以廣泛用于安防預警、邊檢巡查、電力巡維、設備排障等多個領域。本產品不僅攻克了如像素級多光譜圖像融合、圖像細節增強、自研片上操作系統及數據架構等多項技術難點，更實現了多項國內外領先的自主知識產權，具有重要的市場推廣價值和意義。

二 、主要創新點

本作品采用光、電、算集成化技術（即實現了圖像采集、電路設計和算法設計的高度集成），是行業內的新型產品實現了如結構、光學、系統設計等多種重大技術突破。目前已知的多波段圖像融合的類似技術在國內以及國際上有學者進行了相關的研究，但是這些研究成果還都只停留在實驗室仿真驗證階段，尚無實際能夠直接轉化為生產力的技術出現，這也是限制了多波段融合成像在產業化進程中推進的重要掣肘問題。在本作品的研發過程中，本團隊已經解決了包括像素級多光譜圖像配準融合技術、數字細節增強技術、大數據量高速高并發片上操作系統及數據管理架構技術等，從而一舉為該作品產業化的實施提供了完整的理論和技術保障。目前在本作品中已經實現的技術突破和技術創新點主要包括以下4個方面：

（1）像素級多光譜圖像實時融合技術本作品的核心技術突破為實現了一種新的像素級多光譜圖像實時融合技術。該技術利用雙邊濾波器實現了一種金字塔圖像層析結構來進行多光譜圖像像素級融合，通過雙邊濾波器的細節及能量分離過程，將系統采集到的實時多光譜圖像進行金字塔多層分層。將每種光譜的圖像分別進行細節對齊融合以及能量加權融合后再進行金字塔逆運算得到最終的融合結果。該技術突破性的將傳統的雙邊濾波器應用到金字塔計算中來，利用雙邊濾波器優異的細節提取能力結合金字塔分層操作，可以最大程度的得到圖像中的完整細節領域，使得融合后的圖像具有像素級對準能力以及優異的細節與能量均衡能力

圖2-1融合圖像效果及像素級對準效果展示（2）

數字圖像細節實時增強技術該技術開展基于模糊集的多尺度紅外圖像邊緣增強算法研究，根據紅外圖像特點分別建立弱邊緣、強邊緣和噪聲三種成分的隸屬度函數。通過模糊特征平面計算加權系數。在處理過程中，減少對噪聲的增強系數，對強邊緣只需進行適當的增強，所以像素點的增強程度都由模糊特征平面得到。同時，該技術開展了基于灰度冗余的動態范圍自適應擴展算法研究，在統計紅外圖像直方圖的基礎上，計算每個灰度的標記函數（所謂標記函數是指，當某個灰度級的像素個數大于設定的閾值時，該灰度級標記函數值為1，否則為0），利用標記函數求取映射函數，并等間距排列，該方法解決探測器輸出信號溫度動態范圍寬和顯示系統動態范圍不夠這一矛盾，在提高圖像對比度的同時極大改善直接均衡帶來的斷層現象，從根本上提高了圖像的可分辨清晰度。

（a）原圖

（b）細節增強圖圖2-2數字細節增強算法效果圖（3）

高速并發數據傳輸RTOS及基于該操作系統的實時數據調度管理架構由于本作品系統中要在小型化FPGA架構中實現多路高速實時多分辨率視頻信號的采集以及像素級圖像融合算法，同時需要對視頻數據進行大量分析操作，為了確保最終視頻60Hz的顯示實時性、傳輸實時性等嚴格要求，本團隊特別為本項目定制研發了高速高并發數據傳輸的片上操作系統以及基于該操作系統的實時數據調度管理架構來保證系統的工作在穩定、高效率的狀態，目前基于該操作系統及管理架構下，已經穩定實現系統內常態數據處理速率為3Gbps，峰值速率高達20Gbps。

圖2-3片上操作系統及數據管理架構示意圖 三、系統架構

1.1 硬件系統總體設計方案

圖3-1系統總體設計方案示意圖圖3-1上部分是本系統第一代原理樣機的總體設計方案示意圖。可見光、紅外光、紫外光作為輸入光源經可見光模組、非制冷型紅外熱像儀、紫外光相機模組進入ALTERA、ZYNQ系列芯片進行數據處理及融合（預處理、圖像緩存、細節融合、彩色融合），之后送到顯示器端輸出顯示（數據輸出）。（圖3-1下部分本系統的第二代工程樣機，經過先后兩代的研發，在算法、技術架構不斷優化、成熟的同時，還實現了體積、功耗的極大優化。目前，在保留一代系統所有既定功能和性能的前提下，將第一代系統中的兩塊FPGA芯片縮減至只需要一塊FPGA芯片即可實現，同時刪減了第一代系統中的大量外圍芯片，大大降低了基礎成本，同時使得整機體積從高復雜、體積大下降到集成度高、體積精簡，功耗從12W下降到6W以下，便于本作品以各種形態出現在行業中）。硬件系統主要負責接收各種不同攝像頭的實時圖像數據，在片上操作系統中進行算法計算和數據調度、傳輸，并最終向上位機中進行顯示。下面我們對硬件系統進行詳細敘述。

1.2 圖像采集模塊可見光模組+紅外熱像儀+紫外光模組

表3-1 圖像采集模塊參數表

三個獨立攝像頭分別采集不同波段的圖像送至系統中進行后續的各種算法計算操作。由于三個攝像頭在安裝過程中需要進行預先的平行光軸校正工作，使得三個攝像頭的光軸均互相平行并直視被測場景。表中的分辨率參數和焦距參數選擇是根據計算得到，目的是為了使三個攝像頭在觀察同一目標時，該目標的不同光譜圖像在各自的焦平面上均處在相似的大小，即同一目標在不同的焦平面上所占的像素數幾乎一致，這樣的參數設計大大降低了后續算法的處理壓力。

1.3 硬件核心電路板

圖3-2 壹代

（a）

（b）

（c）

（d） 圖3-3 貳代

圖3-4 硬件數據流圖

本作品的研發經過了第一代原理樣機和第二代工程樣機的過程，已經實現了小型化的雛形，在第二代工程樣機的基礎上，可以方便的將本作品部署于各種圖像監控設備上，如手持式儀表，工業巡檢機器人，安防攝像頭等。兩代樣機的硬件組成主要包括如下內容：

（1）中央處理單元中央處理單元以FPGA為計算核心，其上運行包括所有算法移植過來的邏輯代碼、自研片上實時操作系統、數據采集、數據傳輸和圖像送顯示等操作。第一代原理樣機采用兩塊FPGA協同工作的方式，分別為ALtera和Xilinx ZYNQ各一塊。這樣選擇是考慮到本作品研發初始階段對部分關鍵算法的實際資源占用率無法預估的情況，而形成的穩妥解決方案。第二代工程樣機研發時已經對所有的實際資源占用率有了清楚的核算，因此在優化了片上操作系統的效率和部分算法的硬件實現方式后，采用了以單Xilinx ZYNQ為計算核心的方案，大大縮減了體積、功耗和基礎成本。

（2）計算資源及數據存儲模塊：DDR3內存顆粒，512M Flash芯片圖像處理算法、片上操作系統在FPGA中的正確執行和工作僅憑借FPGA的內部資源是遠遠不夠的。因此，在充分考慮系統功耗，成本，體積等因素的情況下，我們采用了雙DDR3內存顆粒形成了1Gb的系統運行內存，以及512Mb的Flash芯片作為系統的數據存儲介質。

（3）供電模塊：12V直流電源系統如圖3-3所示為系統硬件電路中片上操作系統管理和調度所有數據流的流程示意圖。三種不同波段的圖像通過Cameralink接口與硬件電路連接后，在保證平行光軸的結構設計下觀察到的場景大體上相似，但由于結構件的空間位置阻礙和組裝公差，實際的三路圖像間會存在場景信息出現差異以及輕微的圖像旋轉問題。此時，片上操作系統首先對三路圖像進行數據清洗，將不同分辨率、旋轉誤差以及場景差異從三路圖像中完全校正去除，繼而在系統內部通過幀緩存的方式消除不同攝像頭從光電轉換到輸出圖像之間的顯示遲滯現象。隨后片上操作系統會根據本小組設計的高速高并發數據架構進行三路圖像的各種圖像處理算法的片上數據流操作，并最終通過USB2.0接口或者千兆網口與后端上位機軟件進行連接，從而將圖像數據顯示給用戶進行使用。完整的數據操作流程如下圖3-5所示：

圖3-5三光融合流程架構

1.預處理：對三光設備分別進行棋盤格標定，將得到的校正矩陣存儲在flash中，屬于離線校正。預處理過程包括提取三路圖像中相同的場景、幾何校正圖像中的輕微旋轉效應、實現不同維度圖像的不同比例縮放以及消除不同攝像頭的顯示幀延遲現象。

2.圖像緩存：由于攝像頭即使標稱都以相同幀數輸出，實際的像素時鐘之間還是會有差異，因此在開始融合過程之前要先進行緩存預處理，保證每次用相同的時鐘讀取存儲好的三光圖像，并在讀取的同時為每個像素點賦予各自的校正系數。

3.細節融合：利用濾波器區分三光圖像的細節和基底，分別對基底和細節做不同的處理。增強細節、平滑基底，將三光之間的細節和基底對應進行融合。

4.彩色融合：彩色融合時使用偽彩色方式，即將融合后的圖像以偽彩色編碼的形式送到顯示芯片的RGB通道上。

5.圖像輸出：采用VGA接口向顯示器輸出融合圖像，同時通過USB2.0或者千兆網口將圖像送至上位機供PC端使用。傳向上位機的圖像流包括單獨的可見光、紅外光、紫外光和融合圖像共四路數據，均以60Hz的幀頻進行傳輸，也就是說，傳輸過程的幀頻達到共240Hz，其中融合圖像數據可根據串口命令進行顯示切換，切換成不同的融合組合供用戶使用。

2.1軟件設計

操作軟件是基于Windows操作系統下C語言圖形用戶界面應用程序開發框架Qt。如下圖所示，軟件系統可大致劃分為軟件啟動、圖像數據連接模塊、圖像顯示模塊、以及圖像分析模塊四大模塊。各模塊之間采用靈活的布局管理，其基本職能已在圖中加以簡述。

2.2 軟件啟動及圖像數據連接

（a） （b）圖4-1

軟件啟動界面打開軟件時的界面如圖4-1所示，單擊連接選項卡選擇連接電腦選項即可實現硬件系統與上位機的快速連接。

2.3 圖像顯示模塊

用戶可在該選項卡中選擇顯示模式，可一鍵切換顯示模式、彩色成像、彩色融合、DDE（數字細節增強），各模式成像結果可在圖像顯示區域同步展現。如圖4-2（a）所示，從左上到右下分別為紅外光顯示區域、可見光顯示區域、紫外光顯示區域和融合圖像顯示區域，需要解釋的是，觀察普通室內場景時由于地表處在日盲紫外區，場景中沒有紫外光信息時該部分圖像顯示為黑色，當特殊的紫外光成分出現時，在該顯示區域中即能實時捕獲該種紫外光特征。

圖4-2

圖像顯示界面單擊圖像選項卡中的“顯示切換”功能，可實現融合圖像的不同融合方式；單擊“彩色（紅外）”功能，可為紅外圖像數據流添加不同的偽彩色著色；單擊“彩色（融合）”功能，可將最終的融合圖像同步上色；單擊“DDE”功能，可實現為紅外圖像進行數字細節增強功能；單擊“保存圖片”功能，可將當前觀察的場景圖像捕獲并存至電腦中，一次存儲可記錄可見光、紅外光、紫外光以及融合圖像4張圖片。

2.4 軟件輔助功能及版本介紹

用戶可在軟件頂層工具欄選擇輔助功能，可一鍵切換超聲波測距、遠程控制、測溫（無、單點標注、多點標注）等功能，各種輔助功能的執行效果可在圖像顯示區域同步展現。如圖4-3所示。

圖4-3

軟件功能顯示例如，單擊圖4-3中的“多點標注”功能后，紅外圖像顯示區和融合圖像顯示區即開始實現對圖像中不同區域的分立測溫功能，標識框以實時動態刷新的方式捕獲圖像中不同區域內的異常溫度點并將測溫數據顯示在圖像中，使用戶能夠方便快速的對圖像中的異常發熱情況直觀的做出判斷，不僅如此，由于本作品實現了多光譜圖像融合功能，用戶能夠從融合圖像中快速的定位是何種器件或設備正在出現異常，及早排障。單擊圖4-3中的“關于”選項卡，可查看當前軟件版本信息，并實現離線軟件更新功能。

3. 算法設計

3.1 圖像細節增強算法現代高性能紅外熱像儀能夠輸出動態范圍很大的紅外原始圖像，原始的探測器數據范圍一般在12-14位數據，這顯然超出了顯示設備的動態范圍。一般典型的顯示設備，如監視器，其只能夠接收8位圖像信號。此外一般人眼只能夠分辨128個灰度級。因此，當獲得高動態范圍的原始圖像后，一個必須的過程就是將該高動態范圍的原始圖像進行重新映射，將其動態范圍壓縮。這個過程通常需要達到兩個目的：第一：使輸出圖像的動態范圍能夠與顯示的動態范圍相匹配。第二：在完成第一點的同時，盡可能保留原始圖像中存在的細節，使觀測者能夠觀察到較好視覺效果的圖像，且能夠盡早區分隱藏在背景中的微弱目標。因此，本作品的研發過程中，本小組特別針對紅外圖像在顯示場景細節上的缺陷研究了紅外數字圖像細節增強技術，通過非線性濾波器的圖像基頻細節分離技術、自適應高斯濾波的細節優化技術、冗余灰度的逆直方圖投影技術和自適應增益控制技術將普通紅外圖像的顯示效果極大程度的提升，更加便于人眼觀察。

（a）原始圖片

（b）增強圖片

圖4-4

紅外圖像細節增強圖從圖4-4中可以看出，原始的紅外圖像具有灰度壓縮嚴重，對比度過大，細節無法辨識等缺陷，經過本小組的數字細節增強技術處理后，圖像整體灰度分布更加適合人眼觀察，圖像明暗對比適中，細節被全部凸顯出來，整體的觀察效果有了質的飛躍。

3.2 多光融合算法的實現多光融合算法是本作品的核心，在進行圖像融合顯示的研究過程中我們發現，融合算法的性能直接決定了最終用戶的體驗。現有的圖像融合算法大多是以金字塔結構對圖像進行分層融合，這樣做的好處在于可以通過逐層遞進的方式將待融合圖像的能量層和細節層均實現較好的融合效果。但是通過本小組的研究發現，要想實現高精度的像素級融合是一個系統工程，并不僅僅由算法本身決定，而是在更準確的算法保證下需要硬件的配合。因此，本小組的多光融合算法共包括：確定攝像頭參數選型以及新的圖像融合算法兩部分。其中，由于不同光譜攝像頭的器件設計制作難度和材料特性不同，導致不同光譜攝像頭的像元間距各有差別，反應到圖像上表現為觀察相同距離處的相同場景及目標時，這些場景及目標在不同光譜焦平面上的成像尺寸差別明顯，這就給后續的融合過程帶來了不便性。基于這樣的考慮，本小組首先通過精密的參數選型，通過不同材料焦平面像元間距、像元陣列大小、鏡頭焦距等關鍵參數的特性，確定了攝像頭的選型及平行光軸設計方案，繼而開始后續的融合算法操作。在具體的融合算法研究過程中，本小組確定了以像素級融合為核心指導思想的研究方案，研究并實現了基于非線性雙邊濾波器為基礎的金字塔層析方案，首先通過非線性雙邊濾波器將圖像進行高達7層的能量和細節分離，將每層得到的能量和細節中間變量繼續進行非線性雙邊濾波，經研究發現，這樣的分離方式能夠以時頻互析的原理在時間域和頻率域對待融合圖像進行最優的能量和細節組合，最終通過時頻反卷積的方式將每種光譜的分離圖像進行仲裁投票選擇，確定融合后的像素灰度并逆遞歸計算得到融合圖像。最終的融合圖像每個對應像素點均一一對齊，保證了融合結果的高精度。融合過程示意圖如圖4-5所示，最終結果如圖4-6所示。

圖4-5 三光融合算法基本框圖

圖4-6 金字塔融合過程圖像

四、設計演示

1.圖像分辨能力測試：像素測試

我們首先對圖像的分辨率進行測試。我們選取正常環境下的人物場景，檢查圖像的質量及色調范圍。先觀察圖像的直方圖，查看圖像是否有足夠的細節產生高品質的輸出。直方圖的有效灰度范圍越大，細節就越豐富。我們通過相機拍攝的圖片和實物進行比較計算，獲得兩者之間的數學關系，并通過此關系來校正圖片，以此消除圖片拍攝時形變產生的誤差。由下圖5-1可見，本項目可以最大程度的得到圖像中的完整細節領域，使得融合后的圖像具有像素級對準能力以及優異的細節與能量均衡能力。并且實際測試的多光譜圖像融合像素級誤差≤1個像素。多光譜視覺幀同步率≥95%。

圖5-1融合圖像效果及像素級對準效果展示

2. 圖像細節增強測試：RMSC和 DV-BV測試RMSC對比度均方根，公式如下所示：

，

其中代表整個紅外圖像的平均像素值，代表紅外圖像像素每一個點的值，RMSC的值越大，說明整個紅外圖像的信息越豐富，紅外圖像的像素點的梯度越大，對比度越大，細節越豐富。經過計算可知，紅外圖像的細節增強處理結果。表5-1 RMSC測試值

DV-BV細節背景方差比，是細節方差和背景方差的比值；針對于圖像分層的處理紅外圖像的方法，背景方差即基頻層的像素值求方差，BV是基頻層的像素值求方差的平均值，DV是細節層的像素值求方差的平均值，若BV的值較大，說明基頻層的噪聲較大，背景的像素值差距越大，視覺效果越不好，若DV的值較小，則細節的信息較少，那么細節層和基頻層進行融合時，細節層的信息增強后，紅外圖像的整體效果欠缺，細節信息缺失。因此細節背景方差比值越大，說明紅外圖像的信息越豐富，細節增強效果明顯，噪聲越小。表5-2 BV-DV測試值

3. 黑體溫度測試

本作品因為使用了紅外熱像儀，因此具備非接觸式視覺測溫功能。在測溫功能中，測溫的準確性完全由黑體溫度標定技術決定，若標定不準，則系統無法正確的向使用者反饋被測目標溫度。對此，本小組在樣機的研制過程中，研究提出的寬溫度范圍黑體溫度標定技術。通常情況下，使用非制冷焦平面探測器進行溫度標定時，遇到的最大的技術難點就是探測器焦平面附近的環境溫度會影響測溫精度。本團隊在標定時，首先將探測器置于充填了氮氣的黑體腔室內，利用高精度的黑體面源逐度上升并采集后端送出的數字信號，在寬溫度范圍內擬合成一條探測器輻射溫度——響應曲線，其次將系統置于抽真空的黑體腔室內重復擬合該曲線，最后將本系統置于普通環境中擬合該曲線。由于這時環境溫度會對探測器響應大小造成一定影響，在擬合的過程中首先要保持室內恒溫恒濕，然后對每個測試溫度都需要進行單點補償校正。最后將三條曲線放在一起進行統計修正，得出在各個溫度點下的環境溫度補償量和標準黑體定標溫度值，并將其移植到系統中，這樣就可以保證在寬溫度范圍內較高的測溫精確性。本作品最終實現的測溫精度為0.1℃@≤100℃，±1％@100℃~400℃。

圖5-2 高精度測溫功能效果圖

4. 本作品現場使用效果測試

本作品相較于傳統的視覺成像產品最大的優勢在于將場景及目標的寬譜段光譜信息在一次成像過程中全部呈現給用戶，通過多光譜共同呈現圖像特征的方式能夠及其方便快速的定位故障及隱患發生位置，實際的使用效果如下圖5-3所示：

（a）

（b）

（c）

圖5-3

室內成像效果圖圖5-3（a）為可見光成像效果圖，圖中放置了一塊測試電路板，該電路板經過測試處理其上有一個電阻發熱異常，但是從可見光圖像中無法辨識異常之處，圖5-3（b）為該場景的紅外圖像，可以看出圖中心處有異常發熱存在，但是無法辨別是哪個電阻出現異常，此兩張圖像即為當前行業中的單光譜器件使用現狀，圖5-3（c）為本作品的成像效果，可以看出，用戶非常快速的就可以定位到是哪個電阻正在異常發熱，無需在傳統單光譜器件使用中進行二次判斷的過程。

（a）

（b） （c）

圖5-4

室外成像效果圖圖5-4為另一個室外使用效果圖，測試環境為晴朗的清晨，從圖5-4（a）可以看出，遠處的實驗大樓并無任何異常，而從圖5-4（b）中可以看出，大樓中出現了一個異常熱源，相較大樓的其他房間，該熱源可能是某種隱患，但是從圖5-4（a）和圖5-4（b）中難以判斷是哪個房間里出現的異常熱源，而通過本作品的成像效果呈現，可以非常方便快捷的發現是三樓右起第三個房間中出現了該異常熱源，經與大樓物管人員確定，發現是某個燒制特種材料的鍋爐徹夜未關。此兩個現場測試使用效果直觀的證明了本作品在對比傳統單光譜成像設備使用中的功能和性能優越性。同時，本作品已經與行業內的相關下游廠商開始了聯合調試過程，將其分別應用在江蘇飛圖智能控制技術有限公司的無人機光電吊艙進行地面巡檢以及上海潛新電子科技有限公司的安防領域中，并取得了不錯的效果，得到了廠商的一致好評，下圖為廠商出具的試用報告：