遠程監控匯報系統(RMDS)適用于飛行員學員的首次單獨飛行。它使教練機能夠實時監控飛行,并在以后回放飛行以提供詳細的反饋和說明。
飛行員實習生執行他或她的第一次單人飛行可能會犯錯誤,可能導致嚴重事故。一個簡單的解決方案是在駕駛艙內放置一個攝像機,并將實時視頻傳輸到從地面監控飛行的教練機。但是,以每秒 15 幀的速度傳輸數字視頻需要 160 Mbps 的帶寬。這種渠道的成本非常昂貴。問題是如何避免傳輸視頻并仍然監控飛行中飛機的狀態。解決方案是對輸入視頻進行圖像處理并將數值結果傳輸到地面。傳輸數值結果只需要每秒 9,600 位的帶寬,可通過射頻無線電調制解調器輕松、經濟地傳輸。
該飛機配備了連接到駕駛艙視頻處理器的攝像頭、無線電調制解調器和 GPS。駕駛艙視頻處理器執行圖像處理以分析儀表的狀態。圖像處理的數值結果和GPS數據通過無線電調制解調器發送到地面站(GS),地面站將面板和3D地圖的視圖盡可能恢復到飛機上看到的真實視圖。GS的平臺基于FSX-Microsoft飛行模擬器。
為了實現盡可能接近真實視頻的地面,我們需要在每個攝像頭上以每秒 15 幀的速度執行圖像處理。
系統分析
在項目的系統分析階段,計算機要求是:
CPU 負載為 30%
內存和總線的帶寬為 40%
估計這些資源使用情況的假設是:
圖像處理是在一組感興趣區域 (ROI) 上執行的
每個 ROI 為 100 x 100 像素 = 104 像素
有 20 個投資回報率
每秒 15 幀
內存訪問為 10 ns,這與訪問緩存失敗有關。
比內存快的 CPU 在訪問內存時都會延遲內存。
因此,要估計 CPU 負載,我們必須計算算法中的內存訪問次數。由于算法不按順序訪問內存,因此我們采用更大的內存訪問時間值。表 1 顯示了遠高于預期的 CPU 負載:超過 54%,而對應于典型要求的 30% 的值。表 2 顯示了所需的內存帶寬。略高于40%。
表1
表2
在下一節中,我們將介紹為項目選擇計算平臺的其他注意事項。
選擇平臺
與此類項目相關的軟件開發是關鍵路徑;因此,要求找到一個帶有兩個處理器的現成評估板,并開始軟件開發,而無需等待硬件開發。2004年底,我們選擇了ADI公司的BF561雙核作為我們項目的平臺。通過選擇 BF561(見圖 3),我們消除了 CPU 時間的瓶頸。
圖3
內存帶寬受以下各項支持:
用于指令的單獨緩存
單獨的數據緩存
用于捕獲流入和傳出的流視頻的快速 DMA.1(此外,BF561 還具有標準 I/O 資源,如 RS-232、SPI 和并行 I/O)
ADI公司的評估板ADSP-BF561 EZ-KIT Lite2使我們能夠立即開始軟件開發。未包含在評估板上的I/O是通過向后連接器連接到評估板的擴展板上實現的。
與BF561相關的軟件工具允許一臺PC作為控制兩個DSP的開發平臺(見圖4)。當然,當開發系統由一臺PC控制時,多處理器的軟件開發過程會變得更加簡單。此外,實時圖像處理應用程序的軟件開發意味著支持集成開發環境(IDE)的實用程序。必須將輸入圖像顯示為由DSP中的視頻解碼器采樣的圖像。圖5顯示了視頻解碼器捕獲并存儲在DSP存儲器中的圖像。圖像由圖像查看器顯示,該查看器是 IDE 的一部分。此功能有助于集成逐行掃描攝像機。逐行視頻在振動環境中的圖像處理應用中至關重要。攝像機產生的電視標準是 525 行和 858 列。相機生成的圖像大小為每幀 640 x 492 像素。圖像查看器有助于找到輸入視頻的實際大小,即 525 x 858。
圖4
軟件設計可提高性能
兩個內核通過共享內存進行交互。共享內存是由外部端口閃存/SDRAM控制的外部DRAM(再次參見圖3)。兩個核心的利用率取決于項目的功能分解。在計算任務可以分解為獨立子任務的理想情況下,處理器得到充分利用。另一方面,如果功能分解產生相互依賴的子任務,則在同步處理器以訪問共享內存中的數據時會花費大量時間。設計目標是最大程度地減少這些相互依賴關系;因此,處理器變得松散耦合。
圖 5 顯示了我們系統的功能分解。每個 DSP 都有自己的高速緩存指令和高速緩存數據。一個 DSP 對來自攝像機的視頻進行采樣并僅執行圖像處理,而第二個 DSP 連接外部世界:
圖5
通過射頻調制解調器到 GS
前往全球定位系統
前往相機的對比度控制
執行圖像處理的DSP通過共享存儲器處理第二個DSP,并提供數值結果和對比度值。第二個DSP不承認接受這些數據,從而降低了我們的同步成本。
將任務分配給兩個 DSP 的這種功能保證了它們是松散耦合的;因此,它們的計算能力最大化。
視頻處理
流模擬視頻由視頻解碼器捕獲,解碼器將其轉換為數字視頻,并通過其中一個DMA通道將轉換后的視頻傳輸到外部存儲器。幀完成時:
當收到新幀并將其存儲在內存中時,DSP 會生成中斷。
DMA 會自動切換,以便在新的內存緩沖區中獲取額外的幀,而不會受到 DSP 的干擾。
DSP 同時處理幀,而新幀由視頻解碼器捕獲。為了提高性能,與ROI相關的部分圖像從DSP的外部存儲器傳輸到其內部存儲器。
為了啟用實時調試,我們在監視器電視上生成帶有視頻標記的圖像,顯示處理的最后一幀。但是,我們的輸入視頻是逐行掃描類型,而監視器電視支持隔行掃描視頻。
圖 6 列出了兩種視頻類型的線路信息。逐行掃描視頻幀由從第 0 行開始,到第 524 行結束的 525 行的連續序列組成。隔行掃描視頻由兩個子幀組成:一個子幀是從第 0 行開始到第 524 行結束的所有偶數行的序列;另一個子幀是從第 1 行開始到第 523 行結束的所有奇數行的序列。我們再次使用BF561中的快速DMA將逐行掃描視頻轉換為隔行掃描視頻。此外,我們還添加了特殊標記,以在視頻中顯示結果以進行調試和錄制以進行調試。
音頻處理
為了使受訓者和培訓師之間能夠在正常的航空電子通信渠道之外進行通信,我們增加了通過無線電調制解調器進行語音處理的功能。無線電調制解調器以每秒 9,600 位的波特率工作。語音的帶寬為每秒 3,200 比特,而全球波特率為 9,600。解決方案是在與外部世界接口的DSP中執行壓縮和解壓縮。培訓師有一個麥克風和一個連接到 GS 的耳機。GS壓縮訓練器的聲音,并通過射頻調制解調器將其發送到BF561;BF561解壓縮并激活音頻解碼器,該解碼器連接到學員的耳機。受訓者可以通過他或她的麥克風與培訓師交談,BF561 壓縮他或她的聲音并通過射頻調制解調器將其發送到 GS。在GS中,執行語音恢復并將其路由到教練的耳機。航空電子系統中的慣例是半雙工通信。語音處理涉及與音頻代碼、串行端口 (SPORT) 和 DMA 進行交互。音頻編解碼器的數字接口是 SPORT。DMA 支持音頻流。
審核編輯:郭婷
-
調制解調器
+關注
關注
3文章
854瀏覽量
38840 -
攝像頭
+關注
關注
60文章
4851瀏覽量
95890 -
無線電
+關注
關注
60文章
2144瀏覽量
116595
發布評論請先 登錄
相關推薦
評論