隨著各種圖形、圖像內(nèi)容質(zhì)量的不斷提升以及系統(tǒng)運(yùn)行實(shí)時(shí)顯示的需要，金融、通信、交通、能源、安全、軍事等越來(lái)越多的行業(yè)需要建立能夠?qū)崟r(shí)整合多路信號(hào)輸入的超大屏幕顯示系統(tǒng)。而數(shù)字技術(shù)的飛速發(fā)展，也使人們對(duì)大尺寸、多畫(huà)面、真色彩、高畫(huà)質(zhì)、高分辨率的計(jì)算機(jī)圖形、圖文、數(shù)據(jù)與各類(lèi)視頻圖像顯示效果的需求得以滿(mǎn)足。其中，以視頻信息的要求最為強(qiáng)烈，人們不僅希望視頻顯示尺寸的越來(lái)越大，而且視頻顯示質(zhì)量也要求能達(dá)到多畫(huà)面、真色彩、高畫(huà)質(zhì)、高分辨率。

在大屏幕拼接系統(tǒng)中，拼接控制器的優(yōu)劣直接決定著整個(gè)大屏幕顯示系統(tǒng)效果的好與壞，目前，拼接控制器的實(shí)現(xiàn)方法共三種：第一代PCI插卡式的工作原理是通過(guò)工控機(jī)，利用多路PCI計(jì)算機(jī)主板，一部分PCI插槽插入視頻采集卡，另外一部分PCI插槽插入視頻輸出卡，輸入和輸出中間由CPU來(lái)構(gòu)建一個(gè)運(yùn)算和處理中心，這時(shí)就組建成了一臺(tái)工控式控制器。他的圖形處理原理是通過(guò)CPU運(yùn)算后將母信號(hào)分割成M*N個(gè)子視頻信號(hào)后，再把每一個(gè)子信號(hào)都進(jìn)行放大處理分別傳送給拼接幕墻上的各個(gè)對(duì)應(yīng)單元，顯示單元將處理器傳送來(lái)的信號(hào)實(shí)現(xiàn)在大屏幕的每個(gè)顯示單元上，而分辨率和處理速度由計(jì)算機(jī)CPU及對(duì)應(yīng)的PCI卡決定，故性能有限。第二代嵌入式拼接器也稱(chēng)“內(nèi)拼式拼接器”他是基于液晶屏信號(hào)驅(qū)動(dòng)板上增加的運(yùn)算分割技術(shù)，其工作原理先將一個(gè)完整的母畫(huà)面?zhèn)魉椭列盘?hào)運(yùn)算處理器，運(yùn)算處理器以ID地址編碼器的方式開(kāi)始鎖定各自在母畫(huà)面中的位置，以二進(jìn)制BCD碼順序排列開(kāi)始運(yùn)算切割成多個(gè)子畫(huà)面，處理器將各自運(yùn)算好的數(shù)據(jù)直接輸送給液晶驅(qū)動(dòng)板，驅(qū)動(dòng)板將色彩、亮度、對(duì)比度等參數(shù)調(diào)校后以LVDS方式傳送至LCDIC成像器形成圖像，內(nèi)拼式拼接器只是單元內(nèi)部顯示像素的處理，結(jié)果是合成顯示圖像，不能解決信號(hào)高分辨率拼接和任意位置任意大小多窗口信號(hào)處理。第三代拼接系統(tǒng)中控制器采用純硬件處理器FPGA陣列式處理構(gòu)架，全硬件設(shè)計(jì)，無(wú)CPU和操作系統(tǒng)。控制器集超寬帶視頻信號(hào)采集、實(shí)時(shí)高分辨率數(shù)字圖像處理、二維高階數(shù)字濾波等高端圖像處理技術(shù)于一身，具有強(qiáng)大的處理能力。控制器采用多總線并行處理機(jī)制，能從根本上保證對(duì)所有輸入視頻進(jìn)行全實(shí)時(shí)處理，圖像沒(méi)有延遲，無(wú)丟楨現(xiàn)象，由于從結(jié)構(gòu)上就超出了前兩代的機(jī)器的設(shè)計(jì)理念，采用純硬件的處理器運(yùn)算技術(shù)，所以啟動(dòng)時(shí)間快，工作非常穩(wěn)定。

數(shù)字化系統(tǒng)產(chǎn)品中，直接采用超大規(guī)模、超高速的現(xiàn)場(chǎng)可編程門(mén)陣列（FPGA，F(xiàn)ield Programmable Gate Array），基于其高集成度、高速、可編程等優(yōu)點(diǎn)，來(lái)實(shí)現(xiàn)硬件單片集成，已成為必然趨勢(shì)。FPGA豐富的內(nèi)部資源及高速為實(shí)時(shí)視頻處理提供解決途徑。

因此，本項(xiàng)目設(shè)計(jì)基于FPGA的數(shù)字視頻處理算法， 實(shí)現(xiàn)對(duì)DVI視頻信號(hào)進(jìn)行解碼，實(shí)時(shí)對(duì)數(shù)字視頻的分割、 視頻圖像的插值放大，并同時(shí)將處理結(jié)果經(jīng)DVI編碼送到LCD顯示，完成大屏幕拼接系統(tǒng)的設(shè)計(jì)。

一、1、系統(tǒng)概述

1.1系統(tǒng)結(jié)構(gòu)

整個(gè)LCD屏幕顯示拼接系統(tǒng)包含DVI解碼模塊、視頻分割模塊、SRAM、視頻延展式線性插值放大模塊、視頻輸出控制模塊、DVI編碼模塊等。FPGA 內(nèi)部邏輯實(shí)現(xiàn)將輸入數(shù)字視頻分成四路并行的子視頻像素流，經(jīng)各自獨(dú)立的視頻處理通道進(jìn)行實(shí)時(shí)插值放大處理。經(jīng)過(guò)視頻編碼電路輸出到由 4個(gè)LCD顯示屏組成的拼接屏幕上進(jìn)行視頻顯示。 應(yīng)用系統(tǒng)硬件平臺(tái)的系統(tǒng)結(jié)構(gòu)設(shè)計(jì)方案， 如圖1所示。

圖1 LCD屏幕拼接系統(tǒng)結(jié)構(gòu)圖

1.2系統(tǒng)原理

LCD屏幕拼接顯示系統(tǒng)的工作原理， 系統(tǒng)接收一路DVI數(shù)字視頻信號(hào)， 進(jìn)行處理前需要先對(duì)最小變換差分信號(hào)（T.M.D.S.）形式的視頻信號(hào)進(jìn)行解碼（decode）處理， 得到 FPGA 可以處理的像素流信息，經(jīng)過(guò)視頻分割，分割后的子視頻與產(chǎn)生的參考視頻流復(fù)合，使各個(gè)子視頻的行場(chǎng)同步控制信號(hào)一致，各個(gè)子視頻經(jīng)過(guò)延展式線性插值放大處理， 得到最小變換差分信號(hào)的數(shù)字視頻信號(hào)， 經(jīng) DVI接口輸出到拼接 LCD 顯示器進(jìn)行顯示。

2、算法實(shí)現(xiàn)的功能

算法的主要功能如下： FPGA數(shù)字視頻處理電路是對(duì)視頻數(shù)據(jù)進(jìn)行數(shù)字處理的邏輯， 實(shí)現(xiàn)實(shí)時(shí)視頻的預(yù)處理、 圖像的分割、 視頻圖像插值放大等處理， 并通過(guò)視頻輸出模塊控制四路并行的子視頻同步地顯示到 4個(gè) LCD 拼接屏幕上。 具有以下主要功能：

（1）通過(guò)內(nèi)部邏輯的視頻輸入模塊（VGA Input）接收從DVI解碼電路送出的視頻圖像數(shù)據(jù)， 包括像素?cái)?shù)據(jù)（R、 G、 B分量）和視頻同步控制信號(hào)（HSYNC、 VSYNC）等， 轉(zhuǎn)換成預(yù)處理的視頻像素流格式。

（2）視頻分割模塊實(shí)現(xiàn)原始單幀視頻圖像的分割剪裁， 得到四路完整格式的子視頻像素流 （包含視頻像素?cái)?shù)據(jù)和視頻同步控制數(shù)據(jù)）， 并控制4個(gè)子視頻顯示的相互時(shí)序關(guān)系; 各個(gè)拼接屏幕的像素點(diǎn)的掃描規(guī)律相同， 均為逐行掃描形式， 并且子視頻像素點(diǎn)顯示同步， 即行同步和場(chǎng)同步。

（3）視頻插值模塊實(shí)現(xiàn)對(duì)視頻分割所得的子視頻進(jìn)行2×2倍地插值放大處理， 該模塊采用并行處理方式， 四路子視頻分別經(jīng)過(guò)各自獨(dú)立的視頻處理通道;插值放大算法是基于在FPGA進(jìn)行延展式線性（extended linear interpolation）待插值像素點(diǎn)的數(shù)據(jù)計(jì)算， 配合視頻生成模塊（VGASyncGen）產(chǎn)生的參考視頻流， 并通過(guò)共享的行緩沖存儲(chǔ)器實(shí)現(xiàn)插值像素?cái)?shù)據(jù)的分時(shí)讀寫(xiě)切換來(lái)實(shí)現(xiàn)的。所得到視頻像素流包含完整視頻像素流格式，并且符合較高分辨率的視頻顯示要求。

像素流，串行像素流讀取一幀像素的時(shí)間與輸入視頻像素流寫(xiě)入一幀像素的時(shí)間是相等的。像素流融合操作對(duì)輸入的四路視頻， 通過(guò)設(shè)置控制參數(shù)（control）， 在不同時(shí)鐘下選取帶有偏移量的視頻像素點(diǎn)。

圖 3 視頻流的控制邏輯圖

3.2視頻插值放大算法的FPGA實(shí)現(xiàn)

視頻插值放大模塊包含了坐標(biāo)計(jì)算單元、加權(quán)系數(shù)產(chǎn)生器、垂直插值單元、虛擬像素緩存器與水平插值單元，如圖4所示：

圖3 插值放大模塊的框圖　　3.2.1坐標(biāo)計(jì)算單元

延展式線性插值要求源圖像插值點(diǎn)周?chē)?6個(gè)像素點(diǎn)，然后根據(jù)并行計(jì)算單元獲得的插值點(diǎn)的坐標(biāo)。由插值點(diǎn)的坐標(biāo)可以決定臨近的16個(gè)行和列點(diǎn)的坐標(biāo)，接著就可以從memory中獲得16個(gè)點(diǎn)的像素并執(zhí)行線性插值。

線性插值的原理可分解為垂直與水平插值，例如在圖4中，在水平方向上的像素點(diǎn)，是第一個(gè)虛擬像素的地址，能使從虛擬像素緩存器正確讀取虛擬像素點(diǎn)與進(jìn)行水平方向的插值。這樣的操作不需要電路都同時(shí)在執(zhí)行，因此只需要一行或列的地址計(jì)算電路。

圖3 水平方向與垂直方向的插值

對(duì)于列或行地址計(jì)算器，輸入信號(hào)決定水平與垂直方向的坐標(biāo)。坐標(biāo)數(shù)據(jù)包含10位的實(shí)數(shù)以及10位的小數(shù)部分。坐標(biāo)數(shù)據(jù)的第9位是小數(shù)部分最重要的一位，它決定著小數(shù)部分是否大于0.5。同時(shí)由第9位控制的多路選擇器控制用于輸出正確的內(nèi)存地址。如果輸入的是列信號(hào)，那么行地址 ， ， ， 和垂直間隔 可由公式（1）到（3）得到，同理，列地址 ， ， ， 和水平間隔 能由公式（1），（2）和（4）得到。

（1）

（2）

（3）

（4）

3.2.2 加權(quán)系數(shù)產(chǎn)生單元

在設(shè)計(jì)的框圖中，水平加權(quán)系數(shù)與垂直加權(quán)系數(shù)的計(jì)算并不是同時(shí)生產(chǎn)盡管它們都由公式（5）和（6）決定。因此，加權(quán)系數(shù)產(chǎn)生器產(chǎn)生水平及垂直加權(quán)系數(shù)，當(dāng)控制信號(hào)為水平信號(hào)時(shí)，最終的輸出為 ， ， ，

，相反的，則輸出 ， ， ，

。在延展式線性插值最大的計(jì)算量是加權(quán)系數(shù)的計(jì)算，而最復(fù)雜的運(yùn)算卻由最簡(jiǎn)單的兩個(gè)加法器和兩個(gè)減法器構(gòu)成。

（5）

（6）

3.2.3 水平與垂直插值單元

根據(jù)公式（7）和（8），水平與垂直插值有同樣的運(yùn)算，但是它們是并行執(zhí)行以提高整體的速度。水平與垂直插值的邏輯結(jié)構(gòu)由圖5所示，乘法器與加法器可以有效的完成輸入的數(shù)據(jù)的卷積與拼配相應(yīng)的4個(gè)加權(quán)系數(shù)來(lái)產(chǎn)生插值的電路。

（7）

（8）

水平插值單元 垂直插值單元

圖5水平與垂直插值單元邏輯框圖

3.2.4虛擬像素緩存器

虛擬像素點(diǎn)是由垂直插值產(chǎn)生并存于虛擬像素緩存器中，在水平插值的過(guò)程被調(diào)用。一般來(lái)說(shuō)，縮放比例會(huì)決定這緩存器輸入與輸出數(shù)據(jù)的速率，當(dāng)放大的時(shí)候，每個(gè)虛擬像素會(huì)被重新用于水平插值以致于垂直插入器數(shù)據(jù)速率會(huì)比水平的要低，相反的，在縮小的時(shí)候，虛擬像素由垂直插值過(guò)程產(chǎn)生的會(huì)比水平插值過(guò)程所需求的要多。為了調(diào)節(jié)不同的數(shù)據(jù)速率，設(shè)計(jì)虛擬像素緩存器如圖6所示，其中包含1個(gè)計(jì)數(shù)器，8個(gè)寄存器和緩存輸出控制電路。在插值放大的過(guò)程中，緩存器有時(shí)會(huì)延緩垂直插值，虛擬像素?cái)?shù)量比水平插值所需求的確定數(shù)量要多的時(shí)候，就會(huì)停止虛擬像素的產(chǎn)生。計(jì)數(shù)器則是記錄著最新產(chǎn)生的虛擬像素點(diǎn)的列地址并存于reg7.比較器和選擇器對(duì)比計(jì)數(shù)器和 的值來(lái)決定緩存器的輸出。

圖6 虛擬像素緩存器

4、驗(yàn)證

算法的驗(yàn)證是基于Xilinx Virtex-4 FPGA開(kāi)發(fā)平臺(tái)，對(duì)視頻分割模塊及延展式線性插值模塊分別進(jìn)行仿真，驗(yàn)證算法的正確性，再經(jīng)反復(fù)的優(yōu)化及測(cè)試，最后下載到開(kāi)發(fā)板，驗(yàn)證輸出的視頻顯示效果是否能夠滿(mǎn)足視頻放大的應(yīng)用需求，完成LCD大屏幕拼接系統(tǒng)的設(shè)計(jì)。