偽紅外圖像處理

副標(biāo)題：優(yōu)秀的IC/FPGA開(kāi)源項(xiàng)目(七)-偽紅外圖像處理

《優(yōu)秀的IC/FPGA開(kāi)源項(xiàng)目》是新開(kāi)的系列，旨在介紹單一項(xiàng)目，會(huì)比《優(yōu)秀的 Verilog/FPGA開(kāi)源項(xiàng)目》內(nèi)容介紹更加詳細(xì)，包括但不限于綜合、上板測(cè)試等。兩者相輔相成，互補(bǔ)互充~

演示偽紅外圖像處理。

介紹

紅外攝像機(jī)因?yàn)閷?duì)可見(jiàn)光不敏感，所以在一些特殊行業(yè)應(yīng)用越來(lái)越廣泛。

紅外攝像機(jī)甚至可以透過(guò)太陽(yáng)鏡看到人眼，并且攝像機(jī)圖像不受白天或夜晚的影響，并且?guī)缀鯖](méi)有環(huán)境光。

因?yàn)檎嬲募t外sensor價(jià)格比較昂貴，所以這次選用一種偽紅外sensor，即利用相機(jī)自己的光源，即安裝在鏡頭旁邊的 LED，反射紅外光后進(jìn)項(xiàng)圖像采集，這是一種利用近紅外成像，和我們熟知的紅外攝像頭還是有區(qū)別的。

該項(xiàng)目展示了一些紅外圖像處理算法，這些算法可以提高圖像質(zhì)量。

所選FPGA是 ZYNQ-020 SoC，攝像頭是便宜的 Raspberry PI 攝像頭，帶有兩個(gè)紅外 LED，最大分辨率為 1080p@60Hz。

該項(xiàng)目中呈現(xiàn)的體系結(jié)構(gòu)是可擴(kuò)展的，可以輕松添加更多算法。

理論

我選擇了五種基于 3x3 內(nèi)核的圖像處理算法：

壞點(diǎn)校正

這是所有這類(lèi)傳感器的普遍問(wèn)題，是一種常見(jiàn)的預(yù)處理算法。

中值濾波器

常見(jiàn)的噪聲平滑預(yù)處理算法。

低通濾波器（平滑濾波器）

噪聲平滑，這個(gè)算法使圖像平滑，不會(huì)像中值濾波器那樣使圖像模糊。

圖像銳化

通過(guò)“邊緣銳化”提高圖像質(zhì)量，即強(qiáng)調(diào)邊緣。

邊緣檢測(cè)

應(yīng)用其中一種算法后，對(duì)圖像邊緣處理后，圖像尺寸會(huì)減小（可選）。

架構(gòu)

所有算法都基于 3x3 內(nèi)核，這就是為什么所有算法內(nèi)核 (PE) 都必須與 FIFO 通信，每個(gè) PE 都有一行的延遲。只有當(dāng)?shù)诙袛?shù)據(jù)到達(dá)時(shí)才開(kāi)始應(yīng)用算法內(nèi)核，考慮到圖像處理時(shí)候會(huì)對(duì)邊界有影響，但是我們需要輸出端輸出相同的圖像大小。

架構(gòu)

選擇模塊是一個(gè)可擴(kuò)展的 MUX 網(wǎng)絡(luò)，在上圖情況下，具有五個(gè)圖像處理算法，由六個(gè)級(jí)聯(lián)的 MUX-es 組成，一個(gè)用于濾波器輸出，一個(gè)用于輸入信號(hào)。數(shù)據(jù)流可以配置，在這種情況下，視頻流從輸入到輸出，它通過(guò)的圖像處理元素的順序和數(shù)量是可配置的。

算法內(nèi)核的結(jié)構(gòu)如下所示，基本上在這種情況下是一個(gè)延遲線，它以視頻流作為輸入并輸出一個(gè) 3x3 矩陣，輸出是處理后的幀。

設(shè)計(jì)

在該架構(gòu)中，我在 VDMA 和 Gamma Correction 模塊之間插入了我的模塊。

我為每個(gè)行緩沖區(qū)添加了一個(gè) FIFO。

接口

所有模塊都使用規(guī)定好的幀接口 (FI)，它與參考設(shè)計(jì)中使用的 AXI Stream 接口非常相似（https://reference.digilentinc.com/learn/programmable-logic/tutorials/zybo-z7-pcam-5c-demo/start），可以在兩者之間進(jìn)行轉(zhuǎn)換。從 AXI Stream 到 Frame 不需要轉(zhuǎn)換，反之則必須生成一些額外的信號(hào)。AXI Stream 接口只有幀開(kāi)始和行結(jié)束控制信號(hào)。

moduleaxi_stream2frame#(
parameterDATA_WIDTH=24
)(
inputclk,//Systeclock
inputrst_n,//Asynchronousresetactivelow
//-------------------------Configurationinterface----------------------------------
input[11:0]cfg_img_w,//Imagewidth
input[11:0]cfg_img_h,//Imagewidth
//-------------------------AXI-Streaminterface-------------------------------------
inputm_axi_stream_tuser,//Startofframe
inputm_axi_stream_tvalid,//Slavehasvaliddata
inputm_axi_stream_tlast,//Endofframe
input[DATA_WIDTH-1:0]m_axi_stream_tdata,//Datatransferred
outputm_axi_stream_tready,//Masterisreadytoreceive
//------------------------------FrameInterface-----------------------------------
outputregs_frm_val,//Masterhasvaliddata
inputs_frm_rdy,//Slaveisreadytoreceive
outputreg[DATA_WIDTH-1:0]s_frm_data,//Datatransferred
outputregs_frm_sof,//StartofFrame
outputregs_frm_eof,//EndofFrame
outputregs_frm_sol,//StartofLine
outputregs_frm_eol//EndofLine
);
reg[11:0]pix_cnt;
reg[11:0]line_cnt;
wireinvalrdy;
wireoutvalrdy;
wireset_eof;
assigninvalrdy=m_axi_stream_tvalid&m_axi_stream_tready;
assignoutvalrdy=s_frm_rdy&s_frm_val;
assignm_axi_stream_tready=s_frm_rdy;
assignset_eof=(line_cnt==(cfg_img_h-1'd1))&m_axi_stream_tlast&invalrdy;

always@(posedgeclkornegedgerst_n)
if(~rst_n)pix_cnt<=?11'd0?????????;?else
if(m_axi_stream_tuser?&?invalrdy?)?pix_cnt?<=?11'd0?????????;?else?//?Reset?at?start?of?frame
if(m_axi_stream_tlast?&?invalrdy?)?pix_cnt?<=?11'd0?????????;?else?//?Reset?at?end?of?frame
if(invalrdy??????????????????????)?pix_cnt?<=?pix_cnt?+?1'd1;??????//?Increment?at?each?pixel
always@(posedge?clk?or?negedge?rst_n)
if(~rst_n???????????????????????)?line_cnt?<=?11'd0??????????;?else
if(m_axi_stream_tuser?&?invalrdy)?line_cnt?<=?11'd0??????????;?else?//?Reset?at?start?of?frame
if(m_axi_stream_tlast?&?invalrdy)?line_cnt?<=?line_cnt?+?1'd1;??????//?Increment?at?each?pixel
always@(posedge?clk?or?negedge?rst_n)
if(~rst_n??????????????????????????????)?s_frm_sol?<=?1'b0;?else
if(outvalrdy?&?s_frm_sol???????????????)?s_frm_sol?<=?1'b0;?else?//?Reset?sol?is?transmitted
if(m_axi_stream_tuser?&?invalrdy???????)?s_frm_sol?<=?1'b1;?else?//?Set?start?of?line?after?last?pixel?of?line?is?transmitted
if(outvalrdy?&?s_frm_eol?&?(~s_frm_eof))?s_frm_sol?<=?1'b1;??????//?Set?at?start?of?frame
always@(posedge?clk?or?negedge?rst_n)
if(~rst_n???????????????)?s_frm_eof?<=?1'b0;?else
if(outvalrdy?&?s_frm_eof)?s_frm_eof?<=?1'b0;?else?//?Reset?after?eof?is?transmitted
if(set_eof??????????????)?s_frm_eof?<=?1'b1;??????//?Set?when?last?pixel?is?received
always@(posedge?clk?or?negedge?rst_n)
if(~rst_n????????????????????????????)?s_frm_val?<=?1'b0;?else
if(s_frm_rdy?&?(~m_axi_stream_tvalid))?s_frm_val?<=?1'b0;?else?//?Reset?when?ready?and?no?valid?data?at?the?input
if(invalrdy??????????????????????????)?s_frm_val?<=?1'b1;???//?Set?if?data?is?received
always@(posedge?clk?or?negedge?rst_n)
if(~rst_n???????????????????????)?s_frm_eol?<=?1'b0;?else
if(outvalrdy?&?s_frm_eol????????)?s_frm_eol?<=?1'b0;?else?//?Reset?after?eol?is?transmitted
if(m_axi_stream_tlast?&?invalrdy)?s_frm_eol?<=?1'b1;??????//?Set?when?last?pixel?in?a?row?is?received
always@(posedge?clk?or?negedge?rst_n)
if(~rst_n????????????????????????)?s_frm_sof?<=?1'b0;?else
if(outvalrdy?&?s_frm_sof?????????)?s_frm_sof?<=?1'b0;?else?//?Reset?after?sof?is???????????????????????????????transmitted
if(m_axi_stream_tuser??&?invalrdy)?s_frm_sof?<=?1'b1;??????//?Set?when?first?pixel?is?received
always@(posedge?clk?or?negedge?rst_n)
if(~rst_n??)?s_frm_data?<=?{(DATA_WIDTH){1'b0}};?else
if(invalrdy)?s_frm_data?<=?m_axi_stream_tdata??;
endmodule?//axi_stream2Frame

配置sensor

這個(gè)攝像頭是搭配樹(shù)莓派使用的，所有驅(qū)動(dòng)都是閉源的，所以沒(méi)有配置示例。我在 SCL 和 SDA 引腳上的 I2C 引腳上焊接了兩根電線。將相機(jī)連接到 Raspeberry Pi 并將邏輯分析儀連接到焊線，我按照相機(jī)接口指南

https://projects.raspberrypi.org/en/projects/getting-started-with-picamera

邏輯分析儀解碼了I2C，抓取的值將在最后附上excel。

該配置已添加到 C++ 代碼中。

攝像頭是 RGB 攝像頭，只有在房間黑暗時(shí)才會(huì)啟動(dòng)紅外攝像頭。為了解決這個(gè)問(wèn)題，我在sensor前面粘上了一塊塑料，這是紅外 LED 前面的過(guò)濾器。這不是一個(gè)很好的解決方案，但可以。

配置模塊

使用 APB 接口進(jìn)行配置。

voidfilter_cfg()
{
Xil_Out32(APB_BASE_ADDR+CFG_IMG_WIDTH_ADDR,IMG_W);
Xil_Out32(APB_BASE_ADDR+CFG_IMG_HEIGHT_ADDR,IMG_H);
Xil_Out32(APB_BASE_ADDR+CFG_PIX_CORR_SEL_ADDR,0);
Xil_Out32(APB_BASE_ADDR+CFG_SHARP_SEL_ADDR,0);
Xil_Out32(APB_BASE_ADDR+CFG_SMOOTH_SEL_ADDR,0);
Xil_Out32(APB_BASE_ADDR+CFG_MEDIAN_SEL_ADDR,0);
Xil_Out32(APB_BASE_ADDR+CFG_LAPLACE_SEL_ADDR,0);
Xil_Out32(APB_BASE_ADDR+CFG_OUTPUT_SEL_ADDR,0);
Xil_Out32(APB_BASE_ADDR+CFG_PIX_CORR_THR_ADDR,0);
Xil_Out32(APB_BASE_ADDR+CFG_SHARP_COEF_ADDR,0);
Xil_Out32(APB_BASE_ADDR+CFG_TEST_MODE_EN_ADDR,0);
}

上面給出的配置是每個(gè)選擇器模塊的選擇。現(xiàn)在它被配置為輸入流不進(jìn)行任何處理的情況下轉(zhuǎn)到輸出。

voidfilter_cfg()
{
Xil_Out32(APB_BASE_ADDR+CFG_IMG_WIDTH_ADDR,IMG_W);
Xil_Out32(APB_BASE_ADDR+CFG_IMG_HEIGHT_ADDR,IMG_H);
Xil_Out32(APB_BASE_ADDR+CFG_PIX_CORR_SEL_ADDR,0);
Xil_Out32(APB_BASE_ADDR+CFG_SHARP_SEL_ADDR,0);
Xil_Out32(APB_BASE_ADDR+CFG_SMOOTH_SEL_ADDR,SMOOTH_IN_CODE);
Xil_Out32(APB_BASE_ADDR+CFG_MEDIAN_SEL_ADDR,0);
Xil_Out32(APB_BASE_ADDR+CFG_LAPLACE_SEL_ADDR,SMOOTH_IN_CODE);
Xil_Out32(APB_BASE_ADDR+CFG_OUTPUT_SEL_ADDR,LAPLACE_IN_CODE);
Xil_Out32(APB_BASE_ADDR+CFG_PIX_CORR_THR_ADDR,0);
Xil_Out32(APB_BASE_ADDR+CFG_SHARP_COEF_ADDR,0);
Xil_Out32(APB_BASE_ADDR+CFG_TEST_MODE_EN_ADDR,0);
}

Xil_Out32(APB_BASE_ADDR+CFG_SMOOTH_SEL_ADDR,SMOOTH_IN_CODE);

將輸入視頻流放入算法核心。

演示

我展示了帶平滑和不帶平滑的拉普拉斯濾波器，我們可以觀察到圖像有噪聲，應(yīng)用平滑濾波器后圖像有所變化。

為了比較原始圖像和處理后的兩個(gè)圖像，在 Gamma 校正之后添加了第二個(gè) VDMA，，現(xiàn)在校正后的圖像和原始圖像都在 DDR 中，因此可以復(fù)制裁剪處理后的圖像并將裁剪區(qū)域替換為原始圖像。

工程鏈接

I2C 解碼的 csv

https://github.com/hszilard13/Infa-red-based-Image-processing-Zybo/blob/master/config_1080p_rgb.csv

整體工程

https://github.com/hszilard13/Infared-based-Image-processing-Zybo

審核編輯：湯梓紅