CMSIS-NN是什么？

官方的解釋是：

CMSIS NN software library is a collection of efficient neural network kernels developed to maximize the performance and minimize the memory footprint of neural networks on Arm Cortex-M processors.

翻譯一下就是：

CMSIS NN 軟件庫(kù)是一組高效的神經(jīng)網(wǎng)絡(luò)核（函數(shù)），旨在最大限度地提高 Arm Cortex-M 處理器上神經(jīng)網(wǎng)絡(luò)的性能并最大限度地減少內(nèi)存占用。

CMSIS-NN是一個(gè)計(jì)算庫(kù)，它向上提供了神經(jīng)網(wǎng)絡(luò)（NN）計(jì)算接口，實(shí)現(xiàn)了神經(jīng)網(wǎng)絡(luò)計(jì)算的硬件加速。它內(nèi)部實(shí)現(xiàn)了純CPU計(jì)算、DSP計(jì)算、MVE計(jì)算，屏蔽了底層硬件的具體細(xì)節(jié)，降低了編程難度。

為什么移植CMSIS-NN v6.0.0版本？

1

CMSIS-NN核心特性

總結(jié)一下官方的介紹，可以知道CMSIS-NN庫(kù)的核心特性：

專為Cortex-M處理器開(kāi)發(fā)；

神經(jīng)網(wǎng)絡(luò)計(jì)算函數(shù)；

最大化性能；

最小化內(nèi)存占用

2

CMSIS-NN的硬件和軟件支持

除此之外，CMSIS-NN庫(kù)還有幾點(diǎn)也是值得關(guān)注的：

支持DSP擴(kuò)展的處理器，使用SIMD優(yōu)化，例如Cortex-M4核；

支持ARM的Heilum技術(shù)的處理器，使用M核向量擴(kuò)展（MVE，M-profile Vector Extension）進(jìn)行優(yōu)化，例如 Cortex-M55 或 Cortex-M85；

MVE擴(kuò)展恰好是ARM Cortex-M85內(nèi)置的；

VisionBoard主控芯片瑞薩RA8D1的CPU核正是ARM Cortex-M85；

CMSIS-NN可以作為TensorFlow Lite for Microcontroller的后端實(shí)現(xiàn)；

3

CMSIS-NN核心特性

CMSIS-NN v6.0.0版本的發(fā)布說(shuō)明中，介紹了新特性：

全連接（FC）、卷積（CONV）和深度卷積（DWCONV）添加了MVE指令的int4類(lèi)型支持；

重新實(shí)現(xiàn) LSTM 以與 TFLM 參考內(nèi)核保持一致；

LSTM 對(duì) int16 輸入的支持

DSP/MVEI 支持轉(zhuǎn)置卷積

支持分組卷積

支持 FC 的非零濾波器偏移

對(duì) MVEI 的 Int16 輸入卷積支持

對(duì) int16x8 卷積的 Int32 偏置支持

更能多內(nèi)容可以查看本文末尾的CMSIS-NN v6.0.0 Release Note；

如何移植CMSIS-NN v6.0.0到VisionBoard？

1

創(chuàng)建RT-Thread項(xiàng)目

RT-Thread Studio創(chuàng)建基于VisionBoard開(kāi)發(fā)板的模板項(xiàng)目，過(guò)程比較簡(jiǎn)單，不再贅述。

2

添加CMSIS-NN源碼

RT-Thread Studio創(chuàng)建基于VisionBoard開(kāi)發(fā)板的模板項(xiàng)目后，

在packages目錄手動(dòng)下載CMSIS-NN v6.0.0版本：

3

修改RT-Thread代碼

修改項(xiàng)目頂層的Kconfig文件，添加如下代碼行：

注意：Kconfig修改需要完需要保證最后有一行空行，否則menuconfig命令會(huì)報(bào)奇怪的錯(cuò)誤。

檢查packages目錄內(nèi)是否有SConsript文件，并且內(nèi)容如下：

如果沒(méi)有，可以手動(dòng)創(chuàng)建。

4

修改CMSIS-NN代碼

CMSIS-NN目錄頂層創(chuàng)建SConscript文件，內(nèi)容如下：

創(chuàng)建Kconfig文件，內(nèi)容如下：

5

編譯RT-Thread項(xiàng)目

完成以上修改之后，已經(jīng)可以編譯CMSIS-NN庫(kù)的代碼了。

在命令行中執(zhí)行如下命令，編譯整個(gè)項(xiàng)目：

編譯輸出最后部分如下圖所示：

如何測(cè)試CMSIS-NN v6.0.0？

1

CMSIS-NN核心特性

CMSIS-NN庫(kù)內(nèi)部帶有了單元測(cè)試，具體位于 Tests/UnitTest 子目錄，其中 unittest_targets.py 腳本可以用于生成測(cè)試腳手架代碼，使用方法如下：

當(dāng)前生成的代碼是單獨(dú)生成elf文件，并在ARM虛擬硬件（AVH）平臺(tái)上運(yùn)行的。

默認(rèn)情況下，執(zhí)行python unittest_targets.py —download-and-generate-test-runners命令，會(huì)為每個(gè)測(cè)試用例生成一個(gè)main函數(shù)，每個(gè)測(cè)試用例單獨(dú)編譯為一個(gè)elf文件，之后使用ARM虛擬硬件（AVH）執(zhí)行elf進(jìn)行測(cè)試。

為了能夠生成在RT-Thread上運(yùn)行的測(cè)試代碼，需要修改部分測(cè)試腳本代碼，實(shí)現(xiàn)將每個(gè)測(cè)試用例注冊(cè)為一個(gè)獨(dú)立的finsh命令，在串口命令行中交互測(cè)試。

具體修改的代碼差異如下：

這段修改實(shí)現(xiàn)了：

調(diào)用unity的ruby腳本，傳遞main_name命令行參數(shù)，用于修改單元測(cè)試入口函數(shù)名稱（不指定默認(rèn)是main）；

生成一個(gè)獨(dú)立的RT-Thread finsh命令注冊(cè)代碼.c文件；

生成一個(gè)用于編譯的SConscript代碼文件；

另外，再結(jié)合上層目錄的SConcsript包含所有子目錄的SConscript，就可以實(shí)現(xiàn)將所有單元測(cè)試編譯為finsh命令了。

修改完該腳本文件后，執(zhí)行如下命令，生成RT-Thread平臺(tái)測(cè)試代碼：

命令執(zhí)行輸出如下：

2

測(cè)試代碼的構(gòu)建規(guī)則SConscript

然后需要在CMSIS-NN的Tests子目錄內(nèi)，添加SConscript文件：

這段SConscript的作用是，將子目錄的SConscript腳本包含到整個(gè)項(xiàng)目的構(gòu)建流程中去。

接著需要在CMSIS-NN的Tests/UnitTest子目錄內(nèi)，添加SConscript文件：

完成以上修改后，通過(guò)menuconfig打開(kāi) PKG_USING_CMSIS_NN_TESTS 配置項(xiàng)目，再次 scons 編譯，就可以編譯單元測(cè)試代碼文件了。

3

解決鏈接失敗問(wèn)題

但是還會(huì)有一些編譯錯(cuò)誤，原因主要有：

原來(lái)的測(cè)試腳本為每個(gè)測(cè)試用例獨(dú)立生成main函數(shù)，每個(gè)目錄單獨(dú)編譯；

鏈接到一起時(shí)，會(huì)有大量重復(fù)的setUp/tearDown/resetTest/verifyTest函數(shù)定義；

原來(lái)的測(cè)試數(shù)據(jù)數(shù)組沒(méi)有加static修飾，被重復(fù)include到多個(gè).c文件；

鏈接到一起時(shí)，會(huì)有數(shù)組重復(fù)的數(shù)組定義；

為了解決上述兩類(lèi)問(wèn)題，分別創(chuàng)建兩個(gè)腳本。

修復(fù)重復(fù)函數(shù)定義的 fix_testCode.sh：

解決方法，所有 setUp/tearDown/resetTest/verifyTest 函數(shù)添加 weak 屬性修飾；

修復(fù)重復(fù)數(shù)組定義的 fix_testData.sh：

解決方法，所有測(cè)試數(shù)據(jù)的數(shù)組添加static修飾。

分別執(zhí)行上面兩個(gè)腳本之后，再次編譯，就沒(méi)有編譯錯(cuò)誤了。

4

運(yùn)行單元測(cè)試

順利編譯之后，下載固件：

運(yùn)行后，在串口輸入help命令可以看到：

輸入命令，運(yùn)行avgpool算子的測(cè)試：

其他幾個(gè)算子的s8類(lèi)型測(cè)試：