01

圖像處理算子概述

FPGA最大的優勢體現在其低功耗和并行運算的特點上，數字圖像蘊含數據量大，采用FPGA可以在保證低功率運算的情況下，有效提高圖像算法的實時性。

圖像處理算子/卷積核是并行運算最常采用的手段——圖像處理算子/卷積核對圖像矩陣自左向右、自上到下循環線性運算，循環過程各運算相互獨立，不存在順序依賴。

掌握基于FPGA的圖像處理算子/卷積核實現方法，對提升圖像算法實時性和神經網絡運算具有重要意義。

1.1 圖像處理算子概念

圖像處理算子是對圖像進行處理時所用到的算子，根據計算機視覺(Computer Vision)圖像內容表示方法不同，可劃分為基于全局特征的圖像內容表示方法下的全局特征描述算子和基于局部特征的圖像內容表示方法下的局部特征描述算子。盡管根據圖像不同特征設計出不同的圖像算法，但全局特征和局部特征描述算子在本質上沒有明顯差異。

類似于卷積神經網絡，當算法設計采用多級/層運算時，每級/層采用的圖像處理算子/卷積核的尺寸越小，越利于運算深度的擴展。因此，本文主要以局部特征描述算子為主進行介紹。

圖像處理算子設計通常要求具備重復性、判別性、局部不變性、富含信息、量化描述和精確高效等特性。根據圖像處理算子的應用功能可分為微分算子、基于矩的描述算子、基于濾波器的描述算子和基于分布統計的描述算子等。因此，圖像處理算子在圖像增強領域使用較為廣泛。

1.2 圖像處理算子功能

圖像處理算子/卷積核設計尺寸通常采用奇數：3×3、5×5、7×7...從而通過中心點(central pixel)確定像素位置信息，便于以中心點為基準實現算子滑動運算。

圖像處理算子/卷積核設計尺寸在特定情況下也會采用偶數：基于分布統計的描述算子——SIFT描述算子采用4×4×8維描述圖像的尺度不變特征。

由于奇數尺寸圖像處理算子/卷積核應用廣泛，這里以一階微分算子為例簡要介紹圖像處理算子的工作原理：

對圖像進行上述一階微分運算：

相應的一階微分算子G滿足：

利用一階微分算子G對數字圖像循環遍歷，得到一階微分處理后的圖像結果：

微分運算常用于研究相鄰像素差異，主要應用在圖像邊緣提取操作中，具體原理在微分算子中進行具體介紹。

02

圖像處理算子原理

圖像處理算子根據應用功能不同可主要分為微分算子、基于矩的描述算子、基于濾波器的描述算子和基于分布統計的描述算子四類。本節以微分算子為例，介紹圖像處理算子的設計與原理。

2.1 離散數據微分運算

微分算子用于對圖像進行微分運算，通常用于實現邊緣檢測和圖像二值化等功能。對于連續函數的微分運算通常定義為：

相應地，二元函數的偏微分運算定義為：

數字圖像像素是一組二維離散數據，h無法趨近于無窮小，因此其導數采用差分方差的形式近似：

差分方差根據不同形式可分為：

不同差分形式求解數據微分運算可能存在一定的誤差，通常根據不同的應用場景靈活選擇差分形式。以一維離散數據為例，利用差分方差求解一階微分和二階微分的結果可表示為：

2.2 微分算子設計原理

基于離散數據的微分運算方程，以3×3算子為例解釋數字圖像微分算子的設計原理。為便于后續原理解釋，約定對于以(x,y)為中心像素的3×3數字圖像區域，各像素按坐標位置進行命名：

微分算子對數字圖像求微分操作通過矩陣乘法實現：

因此，根據不同的差分形式微分方程，可以構建不同的圖像微分算子。這里給出三種典型的微分算子設計：

1. 一階微分算子設計：

2. 二階微分算子設計：

3. 拉普拉斯算子設計：

? ?

2.3 微分算子實現效果

以拉普拉斯算子為例，對拍攝的原始圖像利用拉普拉斯算子進行微分處理后，得到邊緣提取后的圖像，將提取邊緣與原始圖像相加，可以對原始圖像完成銳化操作。

03

圖像處理算子實現

并行運算是FPGA圖像處理的主要優勢，通過圖像處理算子的方式對圖像區域并行處理，可以有效提高算法運行速率，提升系統的實時性。

以3×3區域為例，由于圖像數據通常按照從上到下、從左到右的順序逐個像素點進行掃描，所以無法直接讀取中心像素周圍3×3范圍內的所有數據。因此，本節采用FIFO緩存的方式，直接從中心像素提取相鄰3×3區域內的像素值，為后續圖像處理算法提供基礎模板。

? ?

3.1 圖像處理算子實現策略

由于數字圖像數據是逐行逐列、逐個像素讀取，考慮讀取一個3×3區域內的數據，需要緩存輔助實現。因此，利用兩個FIFO存儲當前讀取像素位置前兩行的數據，如下圖所示。此時，在讀取像素的同時可以按照坐標關系，從FIFO中讀出3×3區域內的其他所有像素值。需要注意的是，這種方法所讀取到的區域并非以當前讀取像素為中心，而是以I(x-1,y-1)為中心像素的3×3區域。

讀取過程中存在的一個值得關注問題是邊界像素的處理。例如，在掃描第一個數據時，相鄰3×3區域像素需要包括圖中灰色部分的五個像素值，而這五個像素值實際是不存在的。如果邊界像素處理不好，圖像處理效果可能會大打折扣：以微分運算為例，當邊緣像素處理不合適時，圖像周圍可能會出現明顯邊緣特征，對實際邊緣提取操作造成嚴重影響。

對于邊緣像素的處理通常根據應用場景的不同，會采用不同的處理方法以提高算法的性能，最常用的處理方法主要有兩種：

舍棄邊緣像素值，保證算子不會超出圖像區域；

擴展邊緣(圖中灰色部分)賦初值0或255(8 bit數據)。

3.2 圖像處理算子Verilog代碼

Verilog編寫圖像算子生成代碼cx_operator.v，并導入FIFO Generator IP核用于緩存前兩行的圖像數據，以sim_tb.v為仿真文件輸出波形驗證算子的正確性。

各模塊代碼如下：

1. 算子生成模塊 cx_operator.v：

`timescale 1ns / 1ps

//////////////////////////////////////////////////////////////////////////////////

// Company: Cascatrix

// Engineer: Carson

//

// Create Date: 2023/04/02

// Design Name: Image_Processing_Operator

// Module Name: cx_operator

// Tool Versions: v1.0

// Description: Generate image processing operator

//

//////////////////////////////////////////////////////////////////////////////////

module cx_operator(

input wireclk,

input wirerst_n,

inputwireen,

inputwire [7:0]data,

output reg [7:0]operator_11,

output reg [7:0]operator_12,

output reg [7:0]operator_13,

output reg [7:0]operator_21,

output reg [7:0]operator_22,

output reg [7:0]operator_23,

output reg [7:0]operator_31,

output reg [7:0]operator_32,

output reg [7:0]operator_33

);

parameter H_ACTIVE = 640;

parameter V_ACTIVE = 480;

reg [10:0]h_cnt;

reg [10:0]v_cnt;

reg fifo_1_wr_en;

reg fifo_1_rd_en;

wire [7:0]fifo_1_in;

wire [7:0]fifo_1_out;

reg fifo_2_wr_en;

reg fifo_2_rd_en;

wire [7:0]fifo_2_in;

wire [7:0]fifo_2_out;

// Horizontal pixel count

always@(posedge clk or negedge rst_n)

begin

if(!rst_n)

h_cnt <= 11'b0;

else if(en)

begin

if(h_cnt == H_ACTIVE - 1)

h_cnt <= 11'b0;

else

h_cnt <= h_cnt + 1'b1;

end

end

// Vertical pixel count

always@(posedge clk or negedge rst_n)

begin

if(!rst_n)

v_cnt <= 11'b0;

else if(h_cnt == H_ACTIVE - 1)

begin

if(v_cnt == V_ACTIVE - 1)

v_cnt <= 11'b0;

else

v_cnt <= v_cnt + 1'b1;

end

end

// Write enable signal of the first FIFO

always@(posedge clk or negedge rst_n)

begin

if(!rst_n)

fifo_1_wr_en <= 1'b0;

else if(v_cnt < V_ACTIVE - 1)

fifo_1_wr_en <= en;

else

fifo_1_wr_en <= 1'b0;

end

// Write enable signal of the second FIFO

always@(posedge clk or negedge rst_n)

begin

if(!rst_n)

fifo_2_wr_en <= 1'b0;

else if(v_cnt > 0)

fifo_2_wr_en <= en;

else

fifo_2_wr_en <= 1'b0;

end

// Read enable signal of the first FIFO

always@(posedge clk or negedge rst_n)

begin

if(!rst_n)

fifo_1_rd_en <= 1'b0;

else if(v_cnt > 0)

fifo_1_rd_en <= en;

else

fifo_1_rd_en <= 1'b0;

end

// Read enable signal of the second FIFO

always@(posedge clk or negedge rst_n)

begin

if(!rst_n)

fifo_2_rd_en <= 1'b0;

else if(v_cnt > 1)

fifo_2_rd_en <= en;

else

fifo_2_rd_en <= 1'b0;

end

// FIFO data in

assign fifo_1_in= data;

assign fifo_2_in= fifo_1_out;

// Instance of the first FIFO

cx_fifo inst_row_1(

.clk(clk),

.srst(!rst_n ),

.din (fifo_1_in),

.wr_en(fifo_1_wr_en),

.rd_en(fifo_1_rd_en),

.dout (fifo_1_out),

.full (),

.empty()

);

// Instance of the second FIFO

cx_fifo inst_row_2(

.clk(clk),

.srst(!rst_n ),

.din (fifo_2_in),

.wr_en(fifo_2_wr_en),

.rd_en(fifo_2_rd_en),

.dout (fifo_2_out),

.full (),

.empty()

);

// 3×3 operator generation

always@(negedge clk or negedge rst_n)

begin

if(!rst_n)

begin

operator_11<= 8'd0;

operator_12<= 8'd0;

operator_13<= 8'd0;

operator_21<= 8'd0;

operator_22<= 8'd0;

operator_23<= 8'd0;

operator_31<= 8'd0;

operator_32<= 8'd0;

operator_33<= 8'd0;

end

else

begin

operator_11<= operator_12;

operator_12<= operator_13;

operator_13<= fifo_2_out;

operator_21<= operator_22;

operator_22<= operator_23;

operator_23<= fifo_1_out;

operator_31<= operator_32;

operator_32<= operator_33;

operator_33<= data;

end

end

endmodule

2. 仿真模塊 sim_tb.v：

`timescale 1ns / 1ps

//////////////////////////////////////////////////////////////////////////////////

// Company: Cascatrix

// Engineer: Carson

//

// Create Date: 2023/03/02

// Design Name: Image_Histogram_Statistic

// Module Name: sim_tb

// Tool Versions: v1.0

// Description: Image output simulation

//

//////////////////////////////////////////////////////////////////////////////////

module sim_tb(

);

reg clk;

reg rst_n;

reg [31:0] pixel_cnt;

wire hsyn;

wire vsyn;

wire de;

wire [7:0] gray_data;

integer image_txt;

parameter PIXEL_TOTAL = 1920*1080;

//parameter PIXEL_TOTAL = 1680*1050;

//parameter PIXEL_TOTAL = 1280*1024;

//parameter PIXEL_TOTAL = 1280*720;

//parameter PIXEL_TOTAL = 1024*768;

//parameter PIXEL_TOTAL = 800*600;

//parameter PIXEL_TOTAL = 640*480;

cx_top inst_cx_top

(

.clk (clk ),

.en (de ),

.hsyn (hsyn ),

.vsyn (vsyn ),

.gray_data (gray_data )

);

always #1 clk = ~clk;

initial

begin

clk = 1;

rst_n = 0;

#100

rst_n = 1;

end

initial

begin

image_txt = $fopen("D:/FPGA_Document/CX_

Document/CX_Image/03_Image_histogram_statistic

/image_src/image_out.txt");

end

always@(posedge clk or negedge rst_n)

begin

if(!rst_n)

begin

pixel_cnt <= 0;

end

else if(de)

begin

pixel_cnt = pixel_cnt + 1;

$fwrite(image_txt,"%h ",gray_data);

end

end

always@(posedge clk)

begin

if(pixel_cnt == PIXEL_TOTAL && ~vsyn)

begin

$display("CX: image_out.txt is output completed successfully! %t", $realtime, "ps");

$fclose(image_txt);

$stop;

end

end

endmodule

3. FIFO Generator IP配置：

Basic配置FIFO為Native接口類型：

Native Ports配置FIFO位寬為8、深度為2048，使能Reset Pin：

Status Flags可以不做配置：

Data Counts可以不做配置：

3.3 測試數據生成Matlab代碼

為便于算子的仿真測試，利用Matlab生成尺寸為640×480的測試數據data_640_480.txt，數據內容以0~160進行循環，每行循環640/160=4次，每列重復循環。當仿真波形中，算子各行相應列數據相同時，可以驗證算子時序正確。

Matlab測試數據生成代碼：

%**********************************************************************

% -------------------------------------------------------------------

% Company: Cascatrix

% Engineer: Carson

%

% Create Date: 2023/04/02

% Design Name: data_generate

% Module Name: data_generate

% Tool Versions: v1.0

% Description: Generate loop data for operator

%-------------------------------------------------------------------

%*********************************************************************/

clear;clear all;clc;

% Data size

row = 480;

col = 640;

% Data initialization

data = 0;

% Create .txt file

FileName = ['data_640_480','.txt'];

% Open data file

FileData = fopen(FileName,'w');

% Write data into file

for x = 1:row

for y = 1:col

fprintf(FileData,'%s ',dec2hex(data));

if data < 159

data = data + 1;

else

data = 0;

end

end

end

% Close data file

fclose(FileData);

3.4 仿真結果分析

仿真波形驗證結果如下：

1. 當寫入第一行數據前，所有算子像素值置0，第一行數據直接從operator3_中讀出；

2. 當寫入第二行數據時，第一行數據存入FIFO1中，并從operator2_中讀出，第二行數據直接從operator3_中讀出；

3. 當寫入第三行數據時，第一行數據存入FIFO2中，并從operator1_中讀出，第二行數據存入FIFO1中，并從operator2_中讀出，第三行數據直接從operator3_中讀出；

4. 按以上方式循環遍歷數據，波形算子輸出始終滿足operator1x = operator2x = operator3x，即測試數據逐行對齊，驗證3×3算子生成的時序無誤，實現從一個像素讀取相鄰像素值的功能。

審核編輯：劉清