本方案利用 HLS 功能創建圖像處理解決方案，在可編程邏輯中實現邊緣檢測 （Sobel）。

介紹

高級綜合 （HLS） 允許我們在開發 FPGA 應用程序時在更高的抽象級別上工作，如果是商業項目，有望節省時間并降低非經常性成本。

HLS 的一個重要應用是圖像或信號處理，我們可能已經用 C 或 C++ 創建了一個高級模型，或者我們希望使用開源行業標準框架，例如 OpenCV。

在本項目中，我們將研究如何使用 HLS 構建 Sobel 邊緣檢測 IP 核，然后將其包含在我們選擇的 Xilinx FPGA 中。

所選器件可以是傳統的 FPGA，例如 Spartan Seven 或 Artix，或者也可以在異構 SoC 的可編程邏輯中實現，例如 Zynq 7000 或 Zynq MPSoC。

理論

在我們進入應用程序之前，我應該先簡單介紹一下 Sobel 算法的工作原理。Sobel 算法通過識別圖像中的邊緣并強調它們以便可以輕松識別它們來發揮作用。通常這將創建一個灰度圖像，其中邊緣被識別為灰色/白色陰影。

Sobel 邊緣檢測的工作原理是檢測圖像在水平和垂直方向上的梯度變化。為此，將兩個卷積濾波器應用于原始圖像，然后組合這些卷積濾波器的結果以確定梯度的大小。

執行

如果我們使用傳統的 VHDL / Verilog RTL 方法在 FPGA 中實現這一點，那么開發時間將不會很短。因為我們需要為卷積創建行緩沖區，然后實現幅度計算。我們還需要創建一個測試平臺，以確保我們的代碼在進行實施之前按預期工作。

幸運的是，當我們使用 HLS 時，我們真的可以跳過很多繁重的工作，讓 Vivado HLS 實現較低級別的 Verilog/VHDL RTL 實現。

為了在這個更高的抽象級別上工作，我們將使用 Vivado HLS 及其 HLS_OpenCV 和 HLS_Video 庫。

第一個庫 HLS_OpenCV 允許我們使用非常流行的 OpenCV 框架。而 HLS 視頻庫提供了許多可以加速為可編程邏輯的圖像處理功能。

而是有益的HLS視頻庫包括我們需要創建一個索貝爾IP核心，內容包括： -

HLS：：CvtColor - 這將根據其配置在顏色和灰度之間轉換顏色方案。

HLS：：Gaussian - 這將對圖像執行高斯模糊以減少圖像中存在的噪聲。

HLS：：Sobel - 根據其配置在垂直或水平方向執行 Sobel 卷積。我們將需要在我們的 IP 核中使用這兩個實現。

HLS：：AddWeighted - 這允許我們使用來自垂直和水平 Sobel 算子的結果來執行結果幅度計算。

這些不是我們將使用的所有 HLS 函數，因為我們需要使用其他函數。我們需要包含這些附加功能，以便更輕松地使用 HLS 優化和與 Vivado 設計的接口。

界面

在可編程邏輯內部移動圖像數據的最佳方法是使用 AXI 流。

這允許創建高性能圖像處理路徑，其中元素可以根據需要輕松添加或創建。

Vivado IP 庫中存在多個 IP 模塊，可實現視頻輸入和輸出與 AXI 流之間的轉換。以及其他圖像處理功能，例如混合器和色彩空間轉換器。

因此，我們希望我們的 Sobel IP 核能夠接受 AXI Stream 輸入并以相同的 AXI Stream 格式生成其輸出。為此，我們使用以下函數允許在 AXI 流和 HLS 函數使用的 HLS：：Mat 格式之間進行轉換。

HLS：：AXIvideo2Mat - 從 AXI 流轉換為用于 AXI 流輸入的 HLS：：Mat 格式。

HLS：：Mat2AXIvideo - 從 HLS：：Mat 格式轉換為 AXI Stream 格式，用于 AXI Stream 輸出。

C 綜合和優化

與 Verilog 和 VHDL 設計不同，我們用來描述設計的高級語言是不定時的。這意味著當 HLS 工具將 C 轉換為 Verilog 或 VHDL 時，它必須經過多個階段才能創建輸出 RTL

調度 - 確定操作及其發生的順序。

綁定 - 將操作分配給設備內可用的邏輯資源。

控制邏輯提取 - 提取控制邏輯并創建控制結構，例如狀態機以控制模塊的行為。

由于 HLS 工具在運行綜合時必須在性能和邏輯資源之間進行權衡，因此在實現過程中將遵循許多規則。這些可能會影響生成的 IP 核的性能，例如循環（HLS 編碼中的常見結構）保持滾動。

當然，我們可能希望更改 HLS 工具在 C 綜合期間做出的決定以獲得更好的性能。我們可以在我們的 C 中使用 #pragmas 來做到這一點，我們可以使用幾個。

對于這個實現，我們將使用 Dataflow pragma 來確保我們可以達到最高的幀速率。

為了能夠使用此編譯指示，我們需要確保 HLS 綜合工具并行執行兩個 Sobel 操作。這將允許我們在 HLS C 綜合期間指定數據流優化，從而優化通過函數的數據流。實際上，數據流優化是粗粒度流水線。

如果我們先執行一個 Sobel 操作，然后按順序執行另一個操作，我們將無法應用此優化。

因此，我們需要將高斯模糊的結果分成兩條平行路徑，然后在 AddWeighted 階段重新組合。為此，我們使用函數

HLS：：Duplicate - 這將輸入圖像復制到兩個單獨的輸出圖像中，我們可以并行處理這些圖像。

軟件

了解所有這些之后，我們就可以編寫用于 Sobel IP 核的代碼

#include "cvt_colour.hpp"
void image_filter(AXI_STREAM& INPUT_STREAM, AXI_STREAM& OUTPUT_STREAM)//, int rows, int cols)
{
#pragma HLS INTERFACE axis port=INPUT_STREAM
#pragma HLS INTERFACE axis port=OUTPUT_STREAM
RGB_IMAGE img_0(MAX_HEIGHT, MAX_WIDTH);
GRAY_IMAGE img_1(MAX_HEIGHT, MAX_WIDTH);
GRAY_IMAGE img_2(MAX_HEIGHT, MAX_WIDTH);
GRAY_IMAGE img_2a(MAX_HEIGHT, MAX_WIDTH);
GRAY_IMAGE img_2b(MAX_HEIGHT, MAX_WIDTH);
GRAY_IMAGE img_3(MAX_HEIGHT, MAX_WIDTH);
GRAY_IMAGE img_4(MAX_HEIGHT, MAX_WIDTH);
GRAY_IMAGE img_5(MAX_HEIGHT, MAX_WIDTH);
RGB_IMAGE img_6(MAX_HEIGHT, MAX_WIDTH);
;
#pragma HLS dataflow
hls::AXIvideo2Mat(INPUT_STREAM, img_0);
hls::CvtColor(img_0, img_1);
hls::GaussianBlur<3,3>(img_1,img_2);
hls::Duplicate(img_2,img_2a,img_2b);
hls::Sobel<1,0,3>(img_2a, img_3);
hls::Sobel<0,1,3>(img_2b, img_4);
hls::AddWeighted(img_4,0.5,img_3,0.5,0.0,img_5);
hls::CvtColor(img_5, img_6);
hls::Mat2AXIvideo(img_6, OUTPUT_STREAM);
}
#include "hls_video.h"
#include
#define MAX_WIDTH 1280
#define MAX_HEIGHT 720
typedef hls::stream > AXI_STREAM;
typedef hls::Mat RGB_IMAGE;
typedef hls::Mat GRAY_IMAGE;
void image_filter(AXI_STREAM& INPUT_STREAM, AXI_STREAM& OUTPUT_STREAM);//int rows, int cols);

當然，我們希望能夠同時運行 C Simulation 和 Co Simulation，因此我們需要一個可以用來測試算法的測試臺。

當我們運行 C Simulation 時，我們可以看到測試輸入圖像的結果如下。

有了 C 仿真和 Co 仿真結果，我們可以導出內核并將其添加到 Vivado 硬件設計中。

但是，在我們執行此操作之前，您可能需要檢查分析、在 Vivado HLS 中查看并確認兩個 Sobel 函數并行運行。

我們可以使用 Vivado HLS 中的導出 RTL 選項導出 IP 核，如果我們希望我們可以進一步配置 IP 核參數

實現核心

導出核心后，您將在 《project》/solutionX/imp 目錄下找到一個 zip 文件。該目錄包含將新創建的 Sobel IP 核添加到 Vivado 設計所需的所有必要信息。

該文件可以添加到我們的 Vivado IP 存儲庫中，然后包含在 Vivado 框圖中

有了這一切集成，您可以構建應用程序和目標到您選擇的開發板。

對于下面的演示視頻，我使用 Zybo Z7 和 HDMI 輸入和 HDMI 輸出將視頻應用于 Sobel IP 核并顯示結果。