Liran Bar, Director of Product Marketing, CEVA

移動設備上的人工智能已經不再依賴于云端連接，今年CES最熱門的產品演示和最近宣布的旗艦智能手機都論證了這一觀點。人工智能已經進入終端設備，并且迅速成為一個市場賣點。包括安全、隱私和響應時間在內的這些因素，使得該趨勢必將繼續擴大到更多的終端設備上。為了滿足需求，幾乎每個芯片行業的玩家都推出了不同版本、不同命名的人工智能處理器，像“深度學習引擎”、“神經處理器”、“人工智能引擎”等等。

然而，并非所有的人工智能處理器都是一樣的。現實是，許多所謂的人工智能引擎就是傳統的嵌入式處理器（利用CPU和GPU）加上一個矢量向量處理單元（VPU）。VPU單元是專門為高效執行與計算機視覺及深度學習相關的繁重計算負載而設計的。雖然擁有一個強大的、低功耗的VPU是嵌入式人工智能的重要組成部分，但這不是故事的全部。VPU是組成一個出色的人工智能處理器的眾多組件之一。VPU雖然經過精心設計，也確實提供了所需的靈活性，但它不是一個AI處理器。這里還有一些其它功能對于人工智能處理前端化至關重要。

NeuProTM - CEVA人工智能（機器學習）整體解決方案’（圖片來源于CEVA）

優化嵌入式系統的工作負載

在云計算處理過程中，采用浮點計算進行訓練，定點計算進行推理，從而實現最大的準確性。用大型服務器群組進行數據處理，能耗和大小必須考慮，但他們相較于有邊緣約束的處理幾乎是無限的。在移動設備上，功耗、性能和面積（PPA）的可行性設計至關重要。因此在嵌入式SoC芯片上，優先采用更有效的定點計算。當將網絡從浮點轉換為定點時，會不可避免的損失掉一些精度。然而正確的設計可以最小化精度損失，可以達到與原始訓練網絡幾乎相同的結果。

控制精度的方法之一是在8位和16位整數精度之間做出選擇。雖然8位精度可以節省帶寬和計算資源，但是許多商用的神經網絡仍然需要采用16位精度以保證準確性。神經網絡的每一層都有不同的約束和冗余，因此為每一層選擇最佳的精度是至關重要的。

以層為單位選擇最佳精度（圖片來源于 CEVA）

針對開發人員和SoC設計者，一個工具可以自動輸出優化的圖形編譯器和可執行文件，例如CEVA網絡生成器，從上市時間的角度來看是一個巨大的優勢。此外，保持為每一層選擇最佳精度（8位或16位）的靈活性也是很重要的。這使每一層都可以在優化精度和性能之間進行權衡，然后一鍵生成高效和精確的嵌入式網絡推理。

專用硬件來處理真正的人工智能算法

VPU使用靈活，但許多最常見的神經網絡需要的大量帶寬通道對標準處理器指令集提出了挑戰。因此，必須有專門的硬件來處理這些復雜的計算。

例如NeuPro AI處理器包括專用的引擎處理矩陣乘法、完全連接層、激活層和匯聚層。這種先進的專用AI引擎結合完全可編程工作的NeuPro VPU，可以支持所有其它層類型和神經網絡拓撲。這些模塊之間的直接連接允許數據無縫交換，不再需要寫入內存。此外，優化的DDR帶寬和先進的DMA控制器采用動態流水線處理，可以進一步提高速度，同時降低功耗。

結合NeuPro 引擎和 NeuPro VPU的 NeuPro AI處理器框圖（圖片來源于：CEVA）

明天未知的人工智能算法

人工智能仍然是一個新興且快速發展的領域。神經網絡的應用場景快速增加，例如目標識別、語音和聲音分析、5G通信等等。保持一種適應性的解決方案滿足未來趨勢是確保芯片設計成功唯一的途徑。因此，滿足現有算法的專用硬件肯定是不夠的，還必須搭配一個完全可編程的平臺。在算法一直不斷改進的情況下，計算機模擬仿真是基于實際結果進行決策的關鍵工具，并且減少了上市時間。CDNN PC仿真包允許SoC設計人員在開發真實硬件之前，就可以使用PC環境權衡自己的設計。

另一個滿足未來需求的寶貴特征是可擴展性。NeuPro AI產品家族可以應用于廣泛的目標市場，從輕量型的物聯網和可穿戴設備（2TOPs）到高性能的行業監控和自動駕駛應用（12.5 TOPs）。

在移動端實現旗艦AI處理器的競賽已經開始。許多人快速趕上了這一趨勢，使用人工智能作為自己產品的賣點，但并不是所有產品里都具備相同的智能水平。如果想要創建一個在不斷發展的人工智能領域保持“聰明”的智能設備，應該確保在選擇AI處理器時，檢查上述提到的所有特性。