從工業(yè)檢測系統(tǒng)到自動駕駛系統(tǒng)，計算機視覺是一個包括許多有趣應用的廣泛領域。許多這樣的系統(tǒng)在原型和實現(xiàn)階段都要用到開源計算機視覺 (Open Source Computer Vision Library，OpenCV)。OpenCV優(yōu)化了許多功能函數(shù)，并在實時的計算機視覺程序中得到應用。但是，由于嵌入式優(yōu)化策略得天獨厚的優(yōu)勢，仍然值得大家嘗試利用邏輯硬件來加速OpenCV的性能。

目前，OpenCV被廣泛用于開發(fā)計算機視覺應用中。OpenCV包含2500多個優(yōu)化的視頻函數(shù)的函數(shù)庫，并且專門針對臺式機處理器和圖形處理器（Graphic Processing Unit，GPU）進行優(yōu)化。

Xilinx提供的Vivado HLS高層次綜合工具能夠通過C/C++ 編寫的代碼直接創(chuàng)建RTL硬件，顯著提高設計效率；同時，Xilinx Zynq全可編程SOC系列器件嵌入雙核ARM Cortex-A9處理器將軟件可編程能力與FPGA的硬件可編程能力實現(xiàn)完美結合，以低功耗和低成本等系統(tǒng)優(yōu)勢實現(xiàn)單芯片無以倫比的系統(tǒng)性能、靈活性、可擴展性，加速圖形處理產(chǎn)品設計上市時間。OpenCV擁有成千上萬的用戶，而且OpenCV的設計無需修改即可在 Zynq器件的ARM處理器上運行。但是，利用OpenCV實現(xiàn)的高清處理經(jīng)常受外部存儲器的限制，尤其是存儲帶寬會成為性能瓶頸，存儲訪問也限制了功耗效率。通過Xilinx公司提供的Vivado HLS高級語言綜合工具，設計者可以輕松實現(xiàn)OpenCV C++視頻處理設計到RTL代碼的轉換，將其轉換為可以在Zynq實現(xiàn)的硬件加速器或者在FPGA上實現(xiàn)的實時硬件視頻處理單元。

1、 OpenCV和HLS視頻庫

如圖15.83所示，OpenCV在視頻處理系統(tǒng)中可以有不同的應用方式。在圖15.83(a)中，算法的設計和實現(xiàn)完全依賴于OpenCV的函數(shù)調用，利用文件的訪問功能進行圖片的輸入、輸出和處理；在圖15.83(b)中，算法可以在嵌入式系統(tǒng)（例如Zynq Base TRD）中實現(xiàn)，利用特定平臺的函數(shù)調用訪問輸入輸出圖像，但是，視頻處理的實現(xiàn)依賴于嵌入式系統(tǒng)中處理器（例如Cortex?-A9）對OpenCV功能函數(shù)的調用；在圖15.83(c）中，處理算法的OpenCV功能函數(shù)被Xilinx Vivado HLS視頻庫函數(shù)替換，而OpenCV函數(shù)則用于訪問輸入和輸出圖像，提供視頻處理算法實現(xiàn)的設計原型。Vivado HLS提供的視頻庫函數(shù)可以被綜合，在對這些函數(shù)綜合后，可以將處理程序模塊整合到諸如Zynq的可編程邏輯中。這樣，這些程序邏輯塊就可以處理由處理器生產(chǎn)的視頻流、從文件中讀取的數(shù)據(jù)、外部輸入的實時視頻流。

圖15.83 OpenCV應用的不同方式

Vivado HLS包含大量的視頻庫函數(shù)，方便于構建各種各樣的視頻處理程序。通過可綜合的C++代碼，實現(xiàn)這些視頻庫函數(shù)。在視頻處理功能和數(shù)據(jù)結構方面，這些綜合后的代碼與OpenCV基本對應。許多視頻概念與抽象和OpenCV非常相似，很多圖像處理模塊函數(shù)和OpenCV庫函數(shù)一致。

例如，OpenCV中用于代表圖片的很重要的一個類便是cv::Mat類，cv::Mat對象定義如下：
cv::Mat image(1080, 1920, CV_8UC3);

該行代碼聲明了一個1080×1920像素，每一個像素都是由3個8位無符號數(shù)表示的變量image。對應的HLS視頻庫模板類hls::Mat<>聲明如下：
hls::Mat<2047, 2047, HLS_8UC3> image(1080, 1920);

這兩行代碼的參數(shù)形式、圖像尺寸最大值、語法規(guī)則不同，生成的對象是相似的。如果圖像規(guī)定的最大尺寸和圖像的實際尺寸相同的話，也可以用下面的代碼替代：
hls::Mat<1080, 1920, HLS_8UC3> image( );

表15.14給出了一個簡單的圖像轉換函數(shù)應用對比（功能實現(xiàn)dst=src*2.0+0.0）。

表15.15和表15.16給出了OpenCV和HLS視頻庫的核心結構和HLS視頻庫。

2、AXI4流和視頻接口

通過AXI4流協(xié)議，Xilinx提供的視頻處理模塊實現(xiàn)像素數(shù)據(jù)通信。盡管底層AXI4流媒體協(xié)議不需要限制圖片尺寸，但是，若圖片尺寸相同，則將會大大簡化大部分的復雜視頻處理計算。對于遵循AXI4流協(xié)議的輸入接口，可以保證每一幀都包含ROWS * COLS的像素。在保證前面視頻幀保持完整性和矩形性的情況下，后續(xù)模塊實現(xiàn)對視頻幀有效地處理。

如表15.17所示，Vivado HLS包含2個可綜合的視頻接口轉換函數(shù)。

視頻庫還提供了其他不可綜合的視頻接口函數(shù)，這些函數(shù)用于在基于OpenCV測試平臺與綜合后的函數(shù)結合。表15.18給出了不可綜合的接口函數(shù)。

VivadoHLS視頻處理函數(shù)庫使用hls::Mat<>數(shù)據(jù)類型，這種類型用于模型化視頻像素流處理，實質等同于hls::steam<>流的類型，而不是OpenCV中在外部memory中存儲的matrix矩陣類型。因此，在用Vivado HLS實現(xiàn)OpenCV的設計中，需要將輸入和輸出HLS可綜合的視頻設計接口，修改為Video stream接口，也就是采用HLS提供的video接口可綜合函數(shù)，實現(xiàn)AXI4 video stream到VivadoHLS中hls::Mat<>類型的轉換。

3、 OpenCV到RTL代碼轉換的流程

OpenCV圖像處理是基于存儲器幀緩存而構建的，它總是假設視頻幀數(shù)據(jù)存放在外部DDR存儲器中。由于處理器的小容量高速緩存性能的限制，因此，OpenCV訪問局部圖像性能較差。并且，從性能的角度來說，基于OpenCV設計的架構比較復雜，功耗更高。在對分辨率或幀速率要求低，或者在更大的圖像中對需要的特征或區(qū)域進行處理時，OpenCV似乎足以滿足很多應用的要求；但是，對于高分辨率和高幀率實時處理的應用中，OpenCV很難滿足高性能和低功耗的需求。

基于視頻流的架構能提供高性能和低功耗，鏈條化的圖像處理函數(shù)減少了外部存儲器訪問。針對視頻優(yōu)化的行緩存和窗口緩存比處理器高速緩存更簡單高效，更易于使用Xilinx提供的Vivado HLS 在FPGA器件中采用數(shù)據(jù)流優(yōu)化來實現(xiàn)。

Vivado HLS對OpenCV的支持，不是指可以將OpenCV的函數(shù)庫直接綜合成RTL代碼，而是需要將代碼轉換為可綜合的代碼。這些可綜合的視頻庫稱為Vivado HLS視頻庫，它們由Vivado HLS工具提供。

由于OpenCV函數(shù)一般都包含動態(tài)的內存分配、浮點以及假設圖像在外部存儲器中存放或者修改，所以不能直接通過Vivado HLS對OpenCV函數(shù)進行綜合。

Vivado HLS視頻庫用于替換很多基本的 OpenCV函數(shù)，它與OpenCV具有相似的接口和算法，它主要針對在FPGA架構中實現(xiàn)的圖像處理函數(shù)，其中包含了專門面向FPGA的優(yōu)化，比如定點運算而非浮點運算（不必精確到比特位），片上的行緩存（line buffer）和窗口緩存（window buffer）。

下面列出了在FPGA/Zynq開發(fā)中使用VivadoHLS實現(xiàn)OpenCV的設計流程：

（1） 如圖15.84所示，給出了開發(fā)OpenCV的應用流程。在計算機上開發(fā)OpenCV的應用時，由于是開源的設計，采用C++的編譯器對其進行編譯，仿真和調試，最后產(chǎn)生可執(zhí)行文件。無需修改這些設計，就可以在ARM內核上運行OpenCV應用。

圖15.84 開發(fā)OpenCV應用

（2）如圖15.85所示，使用I/O函數(shù)抽取FPGA實現(xiàn)的部分，并且使用可綜合的Vivado HLS 視頻庫函數(shù)代碼來代替OpenCV函數(shù)的調用。

（3）運行Vivado HLS生成RTL代碼。并且，在Vivado HLS工程中啟動co-sim，HLS工具自動重用OpenCV的測試激勵，來驗證所生成的RTL代碼。在Xilinx的ISE/Vivado開發(fā)環(huán)境中，對RTL進行集成，并且在SoC/FPGA中實現(xiàn)它們。

圖15.85 OpenCV應用的軟硬劃分