中國在智能物聯網、機器學習方面的快速發展有目共睹，其視覺應用和創新水平處于世界領先地位。然而當前中國許多IPC視覺系統已經進入紅海市場，如何幫助合作伙伴進行差異化設計，免去重復的基礎IP整合工作和基礎軟件開發工作呢，ARM基于這樣的觀察和思考，近期與安謀科技攜手合作推出全新Arm 智能視覺參考設計，可謂十分契合中國市場的特點。

Arm 智能視覺參考設計的組成

Arm Corstone-1000：整合 Cortex-A、Cortex-M 處理器與內建安全性，為不同應用在受限的功耗范圍內提供效率及高性能。

Arm Corstone-300：為機器學習工作負載提供“永遠在線”的低功耗子系統。

Arm Mali-C55 圖像信號處理器 (ISP)：在極小的芯片面積條件下，提供可配置、高能效、高性能的圖像質量。

來自安謀科技的第三方 IP 在視頻和機器學習能力方面提供更多選項：

包括：“玲瓏”V5視頻處理器：支持緊湊的、多格式 (例如H.264, H.265) 且高效能的視頻編解碼處理。

“周易” NPU：為廣泛的機器學習用例提供高達 4TOPS 的性能表現，并且支持業界主流的 AI 規模框架，例如 Tensorflow、Caffe、ONNX、Pytorch 等。



Arm物聯網事業部業務拓展副總裁馬健Chloe Ma解析，Arm智能視覺參考設計采用成熟的 Arm CPU IP 作為基礎，要知道Arm CPU 在智能攝像頭領域有九成以上的份額，已經用于諸多智能視覺品牌設備。

Corstone 是一套預先經過集成并驗證的子系統，即是Arm 物聯網解決方案的根基。旨在加速芯片產品流片和量產。其中，Corstone-1000 是首款為 Cortex-A 設計的子系統，該方案基本配置是經過量產考驗的 Cortex-A35 或 Cortex-A53，并取得了Arm SystemReady IR 認證，確保 Linux 等操作系統的開機即用，并簡化軟件開發。

Corstone-300 在智能視覺參考設計中，作為低功耗待機子系統，降低邊緣設備的功耗，提高系統效率。



參考設計中的 ISP 選用的是 Arm 去年六月發布的 Mali-C55，也是 Arm 迄今為止面積最小、功耗最低、且可配置性最高的 ISP 產品。Mali-C55 提供升級的圖像質量功能，可以在各種不同的照片和天氣條件下工作。像其他 Arm 產品一樣，Mali-C55 擁有全方位的軟件工具支持，包括軟件驅動實現自動曝光、自動白平衡、自動對焦的 3A 庫以及全套調校和校準工具，并有 Arm 批準的 ISP 調優合作伙伴助力客戶達到最優畫質。



同時，安謀科技為此設計貢獻的玲瓏 VPU 提供了緊湊、多格式和高效的視頻編解碼器，以及周易 NPU 的高達 4 個 TOPS 的 ML 加速，使該參考設計可以支持機器視覺的用例。



安謀科技智能物聯及汽車業務線負責人趙永超在介紹此次安謀科技自研 IP與 ArmCPU、ISP合作時表示， Arm 智能視覺參考設計通過集成安謀科技“玲瓏”VPU 和“周易” NPU，并由安謀科技將 Arm IP 與安謀科技自研 IP 進行集成和驗證，可進一步滿足國內客戶在不同場景下的差異化視頻處理需求，提高機器學習與視頻處理工作時的負載表現，從而加速視覺應用產品的創新落地。

合作伙伴生態

在發布參考設計的同時，Arm啟動智能視覺合作伙伴計劃，攜手 AI 視覺、芯片設計、軟件、算法、系統集成等伙伴共同打造基于 Arm 架構智能視覺應用的強大生態。生態合作伙伴的加持將進一步加速視覺硬件、軟件和系統的開發。



馬健表示，智能視覺參考設計的目標受眾通常是邊緣 AI 領域公司的初創公司、跨界創新公司或者是希望進行垂直整合的系統公司。但由于種種原因，這些公司并不擁有涵蓋所有芯片架構前端、后端設計師的龐大團隊，那么就需要芯片設計服務公司、軟件開發者、系統集成伙伴共同助力。

例如，Arm 智能視覺參考設計包含了云原生的開源視覺軟件堆棧，但是該軟件棧距離面向不同視覺市場的量產軟件還存在著差距，這就需要智能視覺軟件開發經驗的合作伙伴來幫助客戶適配不同的應用場景，為不同的 OEM 定制軟件，并進行整合、測試和調優，達到量產水平。系統集成伙伴通常具有芯片設計、固件軟件開發、創建 FPGA 甚至開發板的綜合能力，可以提供一站式服務。

生態伙伴可借由 Arm 虛擬硬件 (Arm Virtual Hardware, AVH) 的形式獲取 Arm 智能視覺參考設計的虛擬模型，助力軟件開發者在芯片完備前先著手開發并優化代碼。該參考設計具備可信任的底層 IP 技術，在增強安全、可移植性與兼容性方面，已取得 Arm SystemReady IR 與 PSA Certified Level 2 等重要的業界標準認證。

在Arm 智能視覺合作伙伴計劃之下，百度飛槳已經實現了基于飛槳的視覺模型庫和 Arm 虛擬硬件的整合適配。誠邁科技作為軟件設計合作伙伴，在日前成為中國第一個 Arm 批準的 ISP 調優伙伴。另外廈門星宸科技在月初通過了 PSA 安全認證，展示了智能視覺界領軍者對安全和隱私保護重視程度的提高。

智能視覺支持AI小模型部署

盡管我們已經來到了AI的大模型時代，不過，AI應用并不都在云端，大量邊緣端將更加注重運行AI 小模型，智能視覺在支持AI應用上將發揮重要作用。

馬健認為，視覺作為感官對于以后的行動無處不在的避障、安全都是至關重要的。如果是有高情商的機器，比如聊天機器人也需要視覺才能觀察到人類的反應和情感，更好的和人類交流。接著就是對模型優化方面智能視覺也是可以有幫助的。

在整個視覺堆棧和AI 堆棧從云端延伸到邊緣側和端側時，首先要求模型設計的合作伙伴，在模型方面做到稀疏化，將云端設計的大模型做到邊緣側有效的部署。同時，邊緣側設備，整個芯片架構從同構的CPU架構到異構CPU加上加速器架構，能夠更好的支持小模型，讓它們能在邊緣側甚至端側進行部署。同時，在軟件方面，Arm持續為一些傳統嵌入式和邊緣軟件開發者，提供非常堅實的軟件工具，無論是視覺軟件庫或是AI 軟件庫，甚至一些AI 的model zoo模型集合，都能助力他們達到視覺系統的開發和量產。

小結：

Arm認為未來的智能視覺解決方案將全部基于異構計算，預計異構計算解決方案的所有要件，如CPU、ISP、機器學習，都需要更高的性能和效率，以滿足不斷涌現的新用例需求。

Arm也在打通硬件平臺碎片化壁壘，促進AIOT 生態成熟。馬健表示，Arm作為智能物聯和IoT 的基石，能夠提供例如SystemReady 標準和物聯網安全認證體系。Arm 堅信標準對于逐漸削弱碎片化會起到非常重要的作用，在標準化方面Arm有多個計劃，將和產業伙伴共同推動整個生態系統的建設。