借助物聯網、機器學習和人工智能等新時代技術，公司正在通過以創新方式融合物理現實和數字信息來重新構想和創建智能多媒體應用程序。多媒體解決方案涉及音頻/視頻編解碼器、圖像/音頻/視頻處理、邊緣/云應用，在少數情況下還包括 AR/VR。本博客將討論任何多媒體解決方案中嵌入式視頻處理器內核所涉及的軟件基礎架構。

　　視頻處理器是基于 RTL 的硬化 IP 塊，可用于領先的 FPGA 板。借助這個嵌入式內核，用戶可以原生支持視頻會議、視頻流以及基于 ML 的圖像識別和面部識別應用，具有低延遲和高資源效率。但是，在部署視頻處理器之前可能會出現與操作系統支持、H.264/265 處理、驅動程序開發等相關的軟件級別問題。

　　讓我們從視頻處理器的概述開始，看看如何為半導體公司解決這些問題，使最終用戶能夠獲得其產品優勢。

　　嵌入式視頻處理器內核

　　視頻處理器是一個多組件解決方案，由視頻處理引擎本身、DDR4 塊和同步塊組成。這些組件一起專用于支持分辨率高達 4k UHD （3840x2160p60） 的 H.264/.265 編碼和解碼，對于該 FPGA 器件系列的最高速度等級，最高可達 4096x2160p60。支持的級別和配置文件包括用于 HEVC 的最高 L5.1 高級層和用于 AVC 的 L5.2。這三款產品都是基于 RTL 的嵌入式 IP 產品，它們部署在目標 FPGA 器件系列的可編程邏輯結構中，并經過優化/“強化”以實現最大的資源效率和性能。

　　視頻處理器引擎能夠同時編碼和解碼多達 32 個視頻流。這是通過將 2160p60 帶寬拆分到所有預期通道來實現的，支持 480p30 分辨率的視頻流。H.264 解碼支持在 L5.2 2160p60 高 4:2：2 配置文件 （CAVLC） 上高達 960Mb/s 的比特流和高達 533Mb/s L5.1 2160p60 Main 4:2：2 比特流的 H.265 解碼10b 內部配置文件 （CABAC.）

　　視頻處理器引擎還內置了顯著的多功能性。速率控制選項包括 CBR、VBR 和恒定 QP。在較低幀速率下支持比 2160p60 更高的分辨率。該引擎可以處理 8b 和 10b 色深以及 4:0：0、4:2：0 和 4:2：2 的 YCbCr 色度格式。

　　微架構包括獨立的編碼器和解碼器部分，每個部分由嵌入式 32b 可合成 MCU 通過單個 32b AXI-4 Lite I/F 從屬主機 APU 管理。每個 MCU 都有由專用 32b AXI-4 主控器支持的 L1 指令和數據緩存。系統內存的數據傳輸通過一個 4 通道 128b AXI-4 主 I/F 進行，該 I/F 在編碼器和解碼器之間分離。還有一個嵌入式 AXI 性能監視器，可直接測量總線事務和延遲，無需為每個 MCU 鎖定固件以外的其他軟件開銷。

　　DDR4 塊是一個組合的內存控制器和 PHY。控制器部分通過 SDRAM 優化 R/W 事務，而 PHY 執行 SerDes 和時鐘管理任務。還有一些額外的支持模塊提供系統內存的初始化和校準。五個 AXI 端口和一個 64b SODIMM 端口提供高達 2677 MT/s 的性能。

　　第三個塊同步視頻處理器引擎編碼器和 DMA 之間的數據事務。它可以緩沖多達 256 個 AXI 事務并確保低延遲性能。

　　該公司的集成開發環境 （IDE） 用于根據比特流數量、所選編解碼器和所需配置文件來確定給定應用所需的視頻處理器內核數量以及用于編碼或解碼的緩沖區配置。通過工具鏈，用戶可以選擇 AVC 或 HEVC 編解碼器、I/B/P 幀編碼、分辨率和級別、每秒幀數顏色格式和深度、內存使用以及壓縮/解壓縮操作。IDE 還提供帶寬要求和功耗的估計值。

　　嵌入式軟件支持

　　任何硬件到視頻處理的嵌入式軟件開發支持可分為以下幾類：

　　視頻編解碼器驗證和功能測試

　　Linux 支持，包括內核開發、驅動程序開發和應用程序支持

　　工具和框架開發

　　參考設計開發和部署

　　根據需要使用和貢獻開源組織

　　視頻處理器上的 AVC 和 HEVC 編解碼器的驗證非常廣泛。它必須以 3840x2160p60 性能級別執行，以便在裸機和 Linux 支持的環境中進行編碼和解碼。從原型設計到全面生產，低延遲性能也得到了驗證。

　　Linux 工作專注于多媒體框架和級別，以定制內核和驅動程序。這包括 v4l2 子系統、DRM 框架和用于同步塊的驅動程序，以確保低延遲性能。

　　編解碼器和 Linux 項目有效地引導自己代表客戶開發各種參考設計。編碼和解碼的邊緣設計、從低延遲視頻會議到 32 通道視頻流、基于感興趣區域的編碼和 ML 人臉檢測的開發，所有這些都可以通過使用經過仔細考慮的開放式選擇來完成源工具、框架和功能。在下面找到這些產品的摘要：

　　GStreamer – 一個開源的多操作系統多媒體組件庫，可以以流水線方式組裝，遵循面向對象的設計方法和插件架構，用于多媒體播放、編輯、錄制和流式傳輸。它支持多媒體應用程序的快速構建，并在 GNU LGPL 許可下提供。GStreamer 產品還包括各種非常有用的工具，包括 gst-launch（用于構建和運行 GStreamer 管道）和 gsttrace（一個基本的跟蹤工具。）

　　StreamEye – 一種開源工具，為深入分析視頻流提供數據和圖形顯示。

　　Gstshark – 作為 Ridgerun 的一個開源項目提供，該工具提供了用于分析和調試 GStreamer 多媒體應用程序構建的基準測試和跟蹤功能。

　　FFmpeg 和 FFprobe – 都是 FFmpeg 開源項目的一部分，它們是面向多媒體軟件開發人員的與硬件無關的多操作系統工具。FFmpeg 允許用戶在多種格式之間轉換多媒體文件、更改采樣率和縮放視頻。FFprobe 是多媒體流分析的基本工具。

　　OpenMAX – 通過 Khronos Group 提供，這是一個 API 和信號處理函數庫，允許開發人員使多媒體堆棧可跨硬件平臺移植。

　　Yocto – 一個 Linux 基金會開源協作，它創建工具（包括 SDK 和 BSP）和支持功能，為嵌入式和物聯網應用程序開發 Linux 自定義實現。社區及其 Linux 版本與硬件無關。

　　Libdrm - 一組用于支持 DRM 的開源低級庫。Direct Rendering Manager 是一個 Linux 內核，它代表用戶程序管理基于 GPU 的視頻硬件。它通過命令隊列以仲裁模式管理程序請求，并管理硬件子系統資源，特別是內存。libdrm 庫還包括支持 Intel、AMD 和 Nvidia 的 GPU 的函數。Libdrm 包括 modetest 等工具，用于測試 DRM 顯示驅動程序。

　　Media-ctl – 一種廣泛可用的開源工具，用于在 Linux v4l2 層中配置媒體控制器管道。

　　PYUV 播放器——另一個廣泛使用的開源工具，允許用戶播放未壓縮的視頻流。

　　Audacity – 免費的多操作系統音頻編輯器。

　　上述工具/框架有助于在視頻處理、流媒體和會議下設計高效和優質的多媒體解決方案。

　　審核編輯：郭婷