隨著邊緣視覺識別成為許多產品中越來越重要的功能，機器學習 （ML） 和人工智能 （AI） 正在進入廣泛的應用領域。開發人員面臨的問題是，與功耗受限的應用程序相比，支持 ML/AI 的視覺可能需要更多的計算能力來運行識別算法。如果需要昂貴的熱管理解決方案，這也會增加成本。

邊緣 ML/AI 的目標是找到平衡性能和功耗的最佳架構方法，同時提供強大的軟件生態系統來開發應用程序。

考慮到這些條件，本文介紹了瑞薩電子RZ/V2系列微處理器單元（MPU）及其內置AI硬件加速器的解決方案。本文探討了MPU而不是微控制器（MCU）或高端圖形處理單元（GPU）如何解決設計人員面臨的幾個問題。本文介紹了他們如何使用RZ/V2系列開始設計視覺識別系統，以及一些"提示和技巧"，以簡化這一過程。

RZ/V2 系列 MPU 簡介

RZ/V2 系列是一種解決方案，可為使用三核微處理器的開發人員解鎖許多功能。RZ/V2L系列微處理器包含兩個運行在1.2千兆赫（GHz）的Arm Cortex-A55處理器和一個運行在200兆赫（MHz）的實時微控制器內核（Arm? Cortex-M33?）。此外，該系列中的部件還包含一個基于 Arm Mali-G31 多媒體處理器的 GPU，該處理器具有 NEON 單指令/多數據 （SIMD） 指令。將這三個處理內核與多媒體處理器相結合，為從事視覺識別系統的開發人員提供了全面的解決方案。

目前RZ/V2系列有兩種MPU等級，RZ/V2L和RZ/V2M系列。RZ/V2L 具有簡單的圖像信號處理器 （ISP）、3D 圖形引擎和高度通用的外設集。就其本身而言，RZ / V2M增加了一個高性能ISP，支持每秒4幀（fps）的30K分辨率。本文重點介紹RZ/V2L系列，由R9A07G054L23GBG和R9A07G054L24GBG組成。這兩部分之間的主要區別在于R9A07G054L23GBG采用15毫米尺寸 ^2^ ，456-LFBGA 封裝，而 R9A07G054L24GBG 采用 21 mm 封裝 ^2^ ，551-LFBGA 封裝。

RZ/V2L系列的框圖如圖1所示。除了三個處理內核外，MPU 還包括用于標準外設的接口，如 DDR3/DDR4 內存、SPI、USB、以太網、I2C、CAN、SCI、GPIO 和模數轉換器 （ADC）。此外，這些部件還包括安全啟動、加密引擎和真隨機數生成器 （TRNG） 等安全功能。然而，讓 MPU 系列與眾不同的是動態可重新配置處理器 （DRP） AI 加速器。

圖 1：RZ/V2L MPU 系列支持各種外設接口、安全性和視頻處理選項。視覺識別應用的關鍵特性是DRP-AI加速器。（圖片來源：瑞薩電子株式會社）

DRP-AI 加速器秘訣

DRP-AI 加速器是使 RZ/V2L 系列 MPU 能夠以更低的能耗和更低的熱分布快速執行視覺識別應用的秘訣。DRP-AI 由兩個組件組成：DRP 和 AI 乘法累加 （MAC），它們可以通過內部交換機優化數據流來有效地處理卷積網絡和全組合層中的操作（圖 2）。

DRP-AI 硬件專用于 AI 推理執行。DRP-AI采用瑞薩電子開發的獨特動態可重構技術，可提供靈活性、高速處理和能效。此外，DRP-AI 轉換器是一種免費軟件工具，可讓用戶實現優化的 AI 模型，從而快速最大限度地提高性能。DRP-AI轉換器輸出的多個可執行文件可以放置在外部存儲器中。然后，應用程序可以在運行時在多個 AI 模型之間動態切換。

DRP 可以通過動態更改硬件配置來快速處理復雜的活動，例如圖像預處理和 AI 模型池化層。

圖 2：DRP-AI 由 DRP 和 AI-MAC 組成，它們可以通過優化內部交換機的數據流，共同有效地處理卷積網絡和全組合層中的操作。（圖片來源：瑞薩電子株式會社）

DRP-AI 轉換器

The DRP-AI Translator tool generates DRP-AI optimized executables from trained ONNX models, independent of any AI framework. For example, a developer could use PyTorch, TensorFlow, or any other AI modeling framework if it outputs an ONNX model. Once the model is trained, it is fed into the DRP-AI Translator, which generates the DRP and AI-MAC executables (Figure 3).

Figure 3: AI models are trained using any ONNX compatible framework. The ONNX model is then fed into the DRP-AI Translator, which generates the DRP and AI-MAC executables. (Image source: Renesas Electronics Corporation)

The DRP-AI Translator has three primary purposes:

1. Scheduling of each operation to process the AI model.2. Hiding overhead such as memory access time that occurs during each operation's transition in the schedule.3. Optimizing the network graph structure.

The Translator automatically allocates each process of the AI model to the AI-MAC and DRP, thus allowing the user to easily use DRP-AI without being a hardware expert. Instead, the developer can make calls through the supplied driver to run the high-performance AI model. In addition, the DRP-AI translator can continuously update to support newly developed AI models without hardware changes.

系統用例和流程

使用 RZ/V2L MPU 訓練和部署視覺識別應用的一般流程如圖 4 所示。像往常一樣，工程師可以獲取他們的數據集并使用它來訓練他們的視覺識別模型。無論他們是試圖識別貓、購物車中的產品還是裝配線上出現故障的零件，訓練過程都將使用熟悉的 AI 框架進行。訓練模型后，將其轉換為 ONNX 格式并饋送到 DRP-AI 轉換器，后者又輸出可在 DRP-AI 硬件上執行的目標代碼。然后，對來自攝像頭、加速度計或其他傳感器的數據進行采樣并饋送到可執行文件中，從而提供運行推理的結果。

圖 4：在 RZ/V2L MPU 上訓練和運行視覺識別算法的過程。（圖片來源：瑞薩電子株式會社）

工程師可以通過多種方式在設計中利用 RZ/V2L MPU（圖 5）。首先，RZ/V2L MPU 可用于獨立設計，其中 RZ/V2L 是系統中唯一的處理器。憑借其三個內核和AI加速硬件，可能不需要額外的計算能力。

第二個用例是RZ/V2L在更廣泛的系統中用作AI處理器。在此用例中，RZ/V2L 運行 AI 推理并將結果返回給另一個處理器或系統，然后由該處理器或系統對該結果進行操作。選擇的用例將取決于各種因素，例如成本、整體系統架構、性能和實時響應要求。

！[瑞薩電子RZ/V2L MPU的兩個用例示意圖]（//file.elecfans.com/web2/M00/77/AB/poYBAGNkz22AKy4aAABBuflzq2w981.jpg“瑞薩電子RZ/V2L MPU的兩個用例”）圖 5：RZ/V2L MPU的兩個用例是在應用中獨立使用它們，或者作為在更廣泛的系統中使用的 AI 處理器使用。（圖片來源：瑞薩電子株式會社）

實際應用示例

有許多用例可以部署視覺識別技術。一個有趣的例子是在超市。今天，在雜貨店結賬時，員工或購物者通常會掃描購物車中的每件商品。一個有趣的用例是使用視覺識別檢測穿過傳送帶的產品并自動收費。

可以使用簡單的CMOS相機和瑞薩電子的[RTK9754L23S01000BE]（https://www.digikey.com/en/products/detail/renesas-electronics-america-inc/RTK9754L23S01000BE/16187521）評估板構建原型（圖6）。RZ/V2L 嵌入式開發板具有模塊系統 （SOM） 和載板，使開發人員能夠快速啟動和運行。此外，該開發板還支持Linux以及DRP-AI轉換器等各種工具。

！[瑞薩電子RZ/V2L嵌入式開發板圖像]（https://www.digikey.com/-/media/Images/Article%20Library/TechZone%20Articles/2022/September/Accelerate%20Vision%20Recognition%20System%20Design/article-2022september-accelerate-vision-recognition-system_fig6.jpg?la=en&ts=203d0787-6ae7-4716-8e1f-00dce15d82f9“Renesas RZ/V2L嵌入式開發板”）*圖 6：RZ/V2L 嵌入式開發板具有 SOM和載板，使開發人員能夠快速啟動和運行。（圖片來源：瑞薩電子株式會社）*

圖 7 顯示了獲取圖像數據和生成 AI 結果所需的操作概述。在本應用示例中，傳送帶的圖像使用CMOS傳感器通過板載ISP拍攝。接下來，將圖像保存到內存中并輸入DRP-AI引擎。最后，DRP-AI 引擎運行推理并提供 AI 結果。例如，結果可能是發現了香蕉、蘋果或其他水果。

結果通常伴隨著 0 到 1 的置信水平。例如，0.90 置信度表示 AI 確信它檢測到了一個蘋果。另一方面，0.52的置信度可能意味著人工智能認為它是一個蘋果，但不確定。獲取 AI 結果并在多個樣本中平均以提高獲得正確結果的機會的情況并不少見。

！[瑞薩電子RZ/V2L嵌入式開發板示意圖]（file.elecfans.com/web2/M00/77/AB/poYBAGNkz2-ADWgeAABVKqnBB7g602.jpg“瑞薩電子RZ/V2L嵌入式開發板”）圖 7：RZ/V2L 嵌入式開發板用于運行 AI 推理，以識別傳送帶上的各種水果。該圖演示了獲取圖像并生成 AI 結果所需的步驟。（圖片來源：瑞薩電子株式會社）

最后，在本例中，在檢測到的對象周圍繪制一個框，并顯示識別對象的名稱以及置信度（圖 8）。

！[瑞薩電子RZ/V2L的輸出示例]（https://www.digikey.com/-/media/Images/Article%20Library/TechZone%20Articles/2022/September/Accelerate%20Vision%20Recognition%20System%20Design/article-2022september-accelerate-vision-recognition-system_fig8.jpg?la=en&ts=06c253a5-b285-4dda-a005-be06d4026a2e“來自瑞薩電子RZ/V2L的輸出”）*圖 8：RZ/V2L 在檢測傳送帶上的水果和蔬菜的應用中的示例輸出。（圖片來源：瑞薩電子株式會社）*

開始使用 RZ/V2L 的提示和技巧

希望在瑞薩電子RZ/V2L MPU上開始機器學習的開發人員會發現，他們有大量資源可以利用來啟動和運行。以下是開發人員應牢記的幾個"提示和技巧"，可以簡化和加快他們的開發：

• 從開發板和現有示例開始，了解部署和運行應用程序的情況。*如果需要執行多個推理，請將可執行模型保存到外部存儲器，并使用 DRP-AI 功能在模型之間快速切換。*查看瑞薩電子RZ/V嵌入式AI MPU網站上的文檔和視頻。*下載[DRP-AI 轉換器]（https://www.renesas.com/us/en/products/microcontrollers-microprocessors/rz-arm-based-high-end-32-64-bit-mpus/drp-ai-translator）。*下載 RZ/V2L[DRP-AI 支持包]（https://www.renesas.com/us/en/products/microcontrollers-microprocessors/rz-arm-based-high-end-32-64-bit-mpus/rzv2l-drp-ai-support-package）。

遵循這些"提示和技巧"的開發人員在開始時將節省相當多的時間和悲傷。

結論

ML 和 AI 正在進入許多邊緣應用，實時識別對象的能力變得越來越重要。對于設計人員來說，困難在于找到合適的架構來在邊緣執行 AI/ML。GPU 往往耗電，而 MCU 可能沒有足夠的計算能力。

如圖所示，采用DRP-AI的瑞薩電子RZ/V MPU系列具有硬件加速AI等多個優勢，以及大量的工具鏈和原型設計支持。