FPGA 實現方案

　　系統設計的第二階段是該算法的 FPGA 實現過程。這一步實現工作有自己的設計難題，例如 FPGA 設計現在要包括視頻輸入/輸出和幀緩存。此外，有限的資源和可用性能可能需要必要的設計優化。

　　鑒于這些設計特點和其它架構考慮，整個 FPGA 實現方案被分為三個部分。第一部分是在 FPGA 上開發通用的實時視頻流水線，用于處理必要的視頻輸入/輸出和幀緩存。第二部分是開發算法專用硬件加速器。最后在設計的第三階段，我們把它們集成到一起，實現算法控制和數據流。這就完成了整個基于 FPGA 的系統設計。

　　下面對這個過程的每一階段進行更詳細的介紹。

　　實時視頻流水線

　　在為 FPGA 平臺開發任何視頻處理應用時，實時視頻流水線都是最重要的構建模塊。這個流水線對用戶隱藏了視頻輸入/輸出和幀緩存相關的復雜存儲器管理工作，而是提供了簡單的訪問界面以供用戶處理視頻幀數據。

　　雖然在這方面目前有幾種先進的、商業許可的視頻流水線，我們選擇構建針對這個用途的定制視頻流水線。我們基于賽靈思 EDK 構建該流水線，使用定制視頻采集/顯示端口處理視頻輸入/輸出數據。這個流水線也可以方便地進行配置，從而用于其它賽靈思 FPGA 系列。

　　視頻采集端口負責解碼來自視頻 ADC 的輸入視頻流數據并在本地緩存。隨后該數據被轉發至主存儲器，用于創建視頻幀。與此類似，視頻顯示端口負責對本地緩存中存儲的視頻幀數據進行編碼，然后將其轉發到視頻 DAC 中供顯示使用。視頻輸入輸出端口連接到 MicroBlaze 主機處理器的主外設總線，該處理器負責處理與主存儲器之間的視頻數據流量。

　　視頻端口能夠生成中斷，以通知 MicroBlaze 處理器在視頻輸入端口有可用的新數據或視頻輸入端口需要新數據。兩種視頻端口采用“往復式”緩存管理方案，這樣即使是 MicroBlaze 處理器都無法立即響應視頻端口，也不會發生緩存溢出或欠載。圖2所示是視頻端口與 MicroBlaze 處理器之間的互聯。

　　圖2：視頻端口及其互聯

　　視頻端口設計用于檢測和生成視頻行數量、場 ID（如果是隔行視頻）和視頻輸入/輸出流中的其它控制信息。當有足夠數量的視頻數據被視頻輸入端口緩存，或當視頻顯示端口請求的數據達到足夠數量時，該信息就會通過視頻端口的中斷服務例程 （ISR） 傳遞給 MicroBlaze 處理器。這些服務例程相應地通過 DMA 完成視頻端口本地存儲器和主存儲器之間的視頻數據傳輸。

　　除了視頻端口 ISR，還有我們稱之為“視頻幀隊列 API”的一套高級視頻幀隊列管理功能在這些 ISR 和用戶層應用之間工作。該 API 負責維持多個采集幀和顯示幀的隊列，以支持雙幀或三幀緩存方案。在MicroBlaze上運行的用戶應用能輕松獲得視頻采集幀，或利用“視頻幀隊列 API”功能提供視頻顯示幀。圖 3 顯示了在層級結構中各級別的相關功能。

　　圖3：視頻端口 ISR 和視頻幀隊列 API 功能

　　將 MicroBlaze 用作主機處理器以連接系統中的各個構建模塊能產生眾多優勢。例如我們可以使用 MicroBlaze 方便地連接各種外部存儲器（SRAM、SDRAM 等），加載或存儲來自視頻端口的視頻幀數據。類似地，我們可以使用 EDK 中的 DMA 控制器，在視頻端口和主存儲器之間傳輸視頻數據。此外，我們還可用 MicroBlaze 處理器以同樣方式連接定制硬件加速器。

　　這些“視頻幀隊列 API”功能加上視頻端口 ISR 和視頻輸入輸出端口讓設計中的視頻處理流水線的構造更加完善。圖 4 所示的是使用 FPGA 上的本視頻流水線采集、處理和顯示實際的視頻幀。它還顯示了通過計算出的運動向量縮小視圖實現的畫中畫功能。

　　圖4：右下被運動向量網格覆蓋的、經過 FPGA 處理后的實際幀