現(xiàn)代社會(huì)的各個(gè)方面都需要先進(jìn)的人工智能（AI）來處理，例如對(duì)周圍環(huán)境的識(shí)別、行動(dòng)決策和運(yùn)動(dòng)控制，這包括工廠、物流、醫(yī)療、城市中的服務(wù)機(jī)器人以及安全攝像頭等應(yīng)用場(chǎng)景。然而，要在邊緣端實(shí)現(xiàn)人工智能，我們需要克服兩大挑戰(zhàn)：功耗和靈活性。

在云端，我們可以配備足夠的電源和冷卻機(jī)制來支持復(fù)雜的AI模型，但邊緣端的設(shè)備往往限制了功耗，這可能導(dǎo)致運(yùn)行時(shí)間的縮短和成本的增加。此外，隨著AI模型不斷發(fā)展，專用的AI加速硬件很快就會(huì)過時(shí)，這意味著我們需要一種更靈活的解決方案來支持新開發(fā)的AI模型。因此，嵌入式端的AI加速成為一個(gè)重要的解決方案，它可以在邊緣設(shè)備上實(shí)現(xiàn)AI任務(wù)的高效執(zhí)行，并為新的AI模型提供靈活性和支持。

為了滿足市場(chǎng)需求，瑞薩自主研發(fā)了用于AI加速的處理器DRP-AI（Dynamically Reconfigurable Processor for AI人工智能動(dòng)態(tài)可配置處理器），該處理器集成與RZ/V系列芯片中。

DRP-AI處理器具備邊緣端設(shè)備所需的低功耗和靈活性，經(jīng)過多年技術(shù)迭代已發(fā)展到第三代，實(shí)現(xiàn)了比上一代高約10倍的能效。DRP-AI3（集成與RZ/V2H）能夠適應(yīng)AI的進(jìn)一步發(fā)展和高性能機(jī)器人等應(yīng)用的復(fù)雜要求。

DRP-AI3解決了低功耗挑戰(zhàn)，并實(shí)現(xiàn)了高實(shí)時(shí)處理。它為具有AI能力的產(chǎn)品提供了更高性能和更低功耗。接下來，我們將深入了解DRP-AI3是如何實(shí)現(xiàn)這些目標(biāo)的。

1軟、硬結(jié)合系統(tǒng)性地實(shí)現(xiàn)AI模型的高速和低功耗

量化

從傳統(tǒng)的16位浮點(diǎn)運(yùn)算更改為8位整數(shù)運(yùn)算（INT8）。該方法也是現(xiàn)在比較流行的一種運(yùn)算處理方式。

修剪

采用靈活的N:M修剪方法

N:M技術(shù)的基本概念是將原始權(quán)重矩陣劃分為M行的權(quán)重矩陣組，并將其重構(gòu)為較小的N行權(quán)重矩陣組。在每組中，只提取有效權(quán)重，然后對(duì)新的權(quán)重矩陣組進(jìn)行并行運(yùn)算。DRP-AI3引入了一個(gè)新功能，它可以通過自由切換每個(gè)權(quán)重矩陣組的N值來調(diào)整運(yùn)算周期的數(shù)量，從而可以在實(shí)際的AI模型中對(duì)局部變化的修剪率執(zhí)行最優(yōu)的運(yùn)算處理。這種精細(xì)改變N的能力還允許詳細(xì)設(shè)置整個(gè)權(quán)重矩陣的修剪率，根據(jù)用戶對(duì)功耗、操作速度和識(shí)別精度的要求進(jìn)行最佳的修剪處理。

2AI系統(tǒng)架構(gòu)實(shí)現(xiàn)高功效

通過數(shù)據(jù)重用技術(shù)減少外部存儲(chǔ)器通信

DRP-AI采用了一種有效地重用一次輸入到AI-MAC的技術(shù)。例如，在3x3濾波器的卷積運(yùn)算中，一個(gè)數(shù)據(jù)像素用于九個(gè)濾波器運(yùn)算。im2col被廣泛用作GPU中的高度并行運(yùn)算方法，它以矩陣運(yùn)算的順序擴(kuò)展所有圖像數(shù)據(jù)作為輸入到GPU的預(yù)處理步驟。然而，這會(huì)導(dǎo)致一個(gè)像素的數(shù)據(jù)信息出現(xiàn)九次，數(shù)據(jù)的數(shù)量增加了九倍，進(jìn)而增加了功耗和通信帶寬的消耗。相比之下，AI-MAC可以通過將取入與MAC算術(shù)單元相對(duì)應(yīng)的寄存器中的數(shù)據(jù)移位到相鄰寄存器來重用數(shù)據(jù)，從而避免了重復(fù)存儲(chǔ)和傳輸數(shù)據(jù)，減少了功耗和通信帶寬的消耗。

通過采用如下圖所示的配置，與GPU相比，從外部存儲(chǔ)器和內(nèi)部緩沖器到AI-MAC的數(shù)據(jù)加載的數(shù)量可以減少多達(dá)九倍。這種優(yōu)化方案顯著降低了數(shù)據(jù)移動(dòng)所需的功率和通信帶寬消耗。此外，AI-MAC不僅可以對(duì)輸入數(shù)據(jù)進(jìn)行重用，還可以對(duì)輸出和權(quán)重信息進(jìn)行重用，從而將對(duì)外部存儲(chǔ)器的訪問減少了一個(gè)數(shù)量級(jí)以上。

使用輸入的零數(shù)據(jù)控制功耗

人工智能模型計(jì)算的一個(gè)特點(diǎn)是每一層的權(quán)重?cái)?shù)據(jù)和輸入/輸出數(shù)據(jù)中“零”值的比例很高，這被稱為稀疏化。例如，在圖像識(shí)別模型中，所有層50%以上的輸入和輸出數(shù)據(jù)平均為零值。這主要是因?yàn)樵S多人工智能模型使用激活函數(shù)（如ReLU），該函數(shù)會(huì)將乘積和運(yùn)算的所有負(fù)結(jié)果替換為零。在DRP-AI中，通過引入切換技術(shù)來減少不必要的計(jì)算能力。該切換技術(shù)預(yù)先檢測(cè)何時(shí)在操作的每個(gè)元素輸入中輸入零，并防止不必要的操作。

操作調(diào)度流程

除了數(shù)據(jù)重用技術(shù)之外，優(yōu)化外部數(shù)據(jù)訪問或MAC處理等操作的順序和定時(shí)對(duì)于有效的AI執(zhí)行至關(guān)重要。換句話說，調(diào)度操作流程可以最大化DRP-AI的性能。

例如，通過調(diào)度外部存儲(chǔ)器訪問定時(shí)，可以在AI-MAC操作期間提前讀取下一操作的權(quán)重信息并將其存儲(chǔ)在緩沖器中，從而防止和減少外部存儲(chǔ)器訪問延遲。這種方式也可應(yīng)用于內(nèi)部存儲(chǔ)器訪問和任何內(nèi)部算術(shù)處理的定時(shí)中，調(diào)度可以避免每個(gè)處理之間不必要的等待時(shí)間和功耗的產(chǎn)生。由于DRP-AI工具自動(dòng)生成這種優(yōu)化的調(diào)度，用戶能夠輕松應(yīng)對(duì)。

瑞薩開發(fā)的DRP-AI3（人工智能動(dòng)態(tài)可重構(gòu)處理器）是一種獨(dú)特的AI加速器。它將嵌入式端所需的低功耗和靈活性與人工智能模型輕量級(jí)的處理能力相結(jié)合，相較于以前的模型，DRP-AI3的能效提高了10倍（10 TOPS/W）。

瑞薩將繼續(xù)擴(kuò)大研發(fā)RZ/V系列，以提供更多配備這種卓越AI加速器的MPU產(chǎn)品。