ARM的機器學習加速器系列產品即Project Trillium，其中包括了機器學習處理器（ML Processor），物體檢測處理器等硬件IP，同時還包括可以在這些加速器以及Cortex核和Mali GPU上最優化執行相關算法的軟件棧ARM NN。以ARM ML Processor為例（如下圖），其架構包含了用于加速專用函數的加速引擎Fixed-function Engine，用于加速神經網絡的可編程層引擎Programmable Layer Engine，片上內存，用于控制加速器執行的網絡控制單元以及用于訪問片外內存的DMA。

ARM ML Processor是典型的加速器架構，它有自己的指令集，只能執行和機器學習相關的運算加速而無法運行其他程序，因此必須搭配Cortex核才能發揮作用。ARM ML Processor可以最高實現4.6TOPS的算力，同時最高能效比可達3TOPS／W，性能實屬優秀，對于算力需求不高的場合也可以通過降低運行速度來降低功耗，以滿足MCU的需求。

除了ARM之外，其他MCU巨頭也在紛紛布局AI加速器，其中意法半導體屬于技術領先的位置。在去年，意法發布了其用于超低功耗MCU的專用卷積神經網絡加速器，代號為Orlando Project，在28nm FD-SOI上可以實現2.9TOPS／W的超高能效比，相信隨著技術和市場需求的進一步需求將會轉為商用化。

應該說目前基于專用機器學習加速器IP的智能MCU尚處于蓄勢待發階段。顧名思義，專用機器學習加速器通過專用化的設計實現了很高的能效比，然而這也限制了應用范圍，只能加速一部分機器學習算法，而無法顧及通用性。

目前，機器學習加速器最主要的加速對象算法是神經網絡算法，尤其是卷積神經網絡。從技術上說，卷積神經網絡在執行過程中并行度高，存在加速空間，一個加速器相比傳統處理器往往能把神經網絡的執行速度和能效比提升幾個數量級。從人工智能的發展脈絡來看，這一波人工智能中最成功的應用也是基于卷積神經網絡的機器視覺應用，因此大家都專注于卷積神經網絡的加速也是順理成章。

然而，對于MCU來說，專注于卷積神經網絡加速卻未必是一個最優化的選擇。首先，MCU市場的應用存在一定碎片化，而一個專用的加速器很難覆蓋多個應用，因此對于習慣了設計標準化MCU并走量覆蓋許多個市場的半導體廠商來說是否使用專用化加速器是一個需要仔細考慮的選擇。換句話說，許多應用中希望智能MCU能高效執行基于非卷積神經網絡的機器學習算法（例如SVM，決策樹等等），那么這些應用就無法被一個專用的卷積神經網絡加速器覆蓋到，而需要設計另外一套加速器。當然，這對于IP商ARM來說不是件壞事，因為ARM可以快速提升其機器學習加速器的IP品類數量并從中獲利，但是對于半導體公司來說卻有些頭疼。

此外，卷積神經網絡最成功的應用是機器視覺，然而在MCU應用中除了機器視覺之外還有許多其他應用，甚至可以說智能MCU的應用中機器視覺并非最大的市場，這也限制了只能處理卷積神經網絡的專用加速器IP的市場。

智能化路徑二：處理器架構改良

根據上面的討論，ARM因為之前使用Cortex核占領了MCU市場，因此其保留Cortex架構不變并力推能搭配Cortex核使用的專用加速器IP也是必然的商業邏輯。然而，基于專用機器學習加速器IP的智能MCU在碎片化應用中會遇到應用覆蓋過窄的問題，這也就是為什么還存在第二條MCU智能化的技術路徑——改良處理器架構。

處理器架構改良意味著直接設計一個低功耗高算力的通用處理器，這樣就可以覆蓋幾乎所有MCU應用，從而避免了專用加速器的通用性問題。當然，在處理器設計中，往往需要從指令集開始全盤重新設計，因此需要很大的投入。

根據半導體行業的傳統，從頭設計一套新的自有指令集往往是吃力而不討好，因為指令集的設計、驗證、可擴展性考慮等等往往不是一個團隊就能完成的，而是需要大量人長時間的努力。然而，最近隨著RISC-V開源指令集得到越來越多的認可，使用基于RISC-V指令集去做新處理器架構可以大大節省指令集和架構開發的成本以及風險。RISC-V指令集經過開源社區的認證，已經證明非常靠譜，可以無需從頭造輪子，而只需要把精力集中在需要改良的部分，因此在這個時間點做新處理器架構可謂是正逢其時。