視頻庫還提供了其他不可綜合的視頻接口函數(shù)，這些函數(shù)用于在基于OpenCV測試平臺與綜合后的函數(shù)結(jié)合。表15.18給出了不可綜合的接口函數(shù)。

VivadoHLS視頻處理函數(shù)庫使用hls::Mat<>數(shù)據(jù)類型，這種類型用于模型化視頻像素流處理，實(shí)質(zhì)等同于hls::steam<>流的類型，而不是OpenCV中在外部memory中存儲的matrix矩陣類型。因此，在用Vivado HLS實(shí)現(xiàn)OpenCV的設(shè)計(jì)中，需要將輸入和輸出HLS可綜合的視頻設(shè)計(jì)接口，修改為Video stream接口，也就是采用HLS提供的video接口可綜合函數(shù)，實(shí)現(xiàn)AXI4 video stream到VivadoHLS中hls::Mat<>類型的轉(zhuǎn)換。

3、 OpenCV到RTL代碼轉(zhuǎn)換的流程

OpenCV圖像處理是基于存儲器幀緩存而構(gòu)建的，它總是假設(shè)視頻幀數(shù)據(jù)存放在外部DDR存儲器中。由于處理器的小容量高速緩存性能的限制，因此，OpenCV訪問局部圖像性能較差。并且，從性能的角度來說，基于OpenCV設(shè)計(jì)的架構(gòu)比較復(fù)雜，功耗更高。在對分辨率或幀速率要求低，或者在更大的圖像中對需要的特征或區(qū)域進(jìn)行處理時(shí)，OpenCV似乎足以滿足很多應(yīng)用的要求；但是，對于高分辨率和高幀率實(shí)時(shí)處理的應(yīng)用中，OpenCV很難滿足高性能和低功耗的需求。

基于視頻流的架構(gòu)能提供高性能和低功耗，鏈條化的圖像處理函數(shù)減少了外部存儲器訪問。針對視頻優(yōu)化的行緩存和窗口緩存比處理器高速緩存更簡單高效，更易于使用Xilinx提供的Vivado HLS 在FPGA器件中采用數(shù)據(jù)流優(yōu)化來實(shí)現(xiàn)。

Vivado HLS對OpenCV的支持，不是指可以將OpenCV的函數(shù)庫直接綜合成RTL代碼，而是需要將代碼轉(zhuǎn)換為可綜合的代碼。這些可綜合的視頻庫稱為Vivado HLS視頻庫，它們由Vivado HLS工具提供。

由于OpenCV函數(shù)一般都包含動態(tài)的內(nèi)存分配、浮點(diǎn)以及假設(shè)圖像在外部存儲器中存放或者修改，所以不能直接通過Vivado HLS對OpenCV函數(shù)進(jìn)行綜合。

Vivado HLS視頻庫用于替換很多基本的 OpenCV函數(shù)，它與OpenCV具有相似的接口和算法，它主要針對在FPGA架構(gòu)中實(shí)現(xiàn)的圖像處理函數(shù)，其中包含了專門面向FPGA的優(yōu)化，比如定點(diǎn)運(yùn)算而非浮點(diǎn)運(yùn)算（不必精確到比特位），片上的行緩存（line buffer）和窗口緩存（window buffer）。

下面列出了在FPGA/Zynq開發(fā)中使用VivadoHLS實(shí)現(xiàn)OpenCV的設(shè)計(jì)流程：

（1） 如圖15.84所示，給出了開發(fā)OpenCV的應(yīng)用流程。在計(jì)算機(jī)上開發(fā)OpenCV的應(yīng)用時(shí)，由于是開源的設(shè)計(jì)，采用C++的編譯器對其進(jìn)行編譯，仿真和調(diào)試，最后產(chǎn)生可執(zhí)行文件。無需修改這些設(shè)計(jì)，就可以在ARM內(nèi)核上運(yùn)行OpenCV應(yīng)用。

圖15.84 開發(fā)OpenCV應(yīng)用

（2）如圖15.85所示，使用I/O函數(shù)抽取FPGA實(shí)現(xiàn)的部分，并且使用可綜合的Vivado HLS 視頻庫函數(shù)代碼來代替OpenCV函數(shù)的調(diào)用。

（3）運(yùn)行Vivado HLS生成RTL代碼。并且，在Vivado HLS工程中啟動co-sim，HLS工具自動重用OpenCV的測試激勵(lì)，來驗(yàn)證所生成的RTL代碼。在Xilinx的ISE/Vivado開發(fā)環(huán)境中，對RTL進(jìn)行集成，并且在SoC/FPGA中實(shí)現(xiàn)它們。

圖15.85 OpenCV應(yīng)用的軟硬劃分