都說人工智能落地難。難在哪里？

“目前的平臺框架，不管是TensorFlow或是其他，都無法做到對不同的芯片實現全部支持，因此做算法、做方案的公司，在解決最后1公里的落地問題時，甚至需要把前面99公里的東西都再學一遍，因此增加了很大的工作量，造成了落地困難。”Arm中國生態發展副總裁/OPEN AI LAB創始人兼CEO金勇斌表示。

如何扭轉這一局面？需實現從芯片、算法到解決方案全部打通，使后端設計人員無需關注底層的差異——這是Arm“周易”平臺希望帶來的改變。

IoT設備實現人工智能是必然趨勢

軟銀孫正義曾提出，2035年全球將有萬億級IoT設備在線。在這些設備上實現本地人工智能，是未來的必然趨勢。要做到這一點，必須進一步將降低人工智能的算力成本。Arm“周易”平臺，主打適用性、兼容性、安全性，希望大幅降低人工智能算力、芯片和應用成本、加快應用研發周期，在更多的IoT設備上實現人工智能。“AI要想普及化，必須實現85%以上的智能化都在終端實現。”金勇斌表示。

讓端側芯片集成AI能力更容易

“周易”平臺的核心包含兩部分，一是Tengine軟件框架，二是AIPU（人工智能處理單元），主要處理卷積神經網絡、深度神經網絡為代表的AI計算。
從優化端側芯片開發的角度看，“周易”平臺降低了兩個門檻：一方面是SoC集成AI功能的設計門檻，另一方面是上層軟件的開發門檻。

金勇斌強調，之所以叫AIPU而不是AI Chip，主要因為它只是SoC中的一個處理單元，像傳統的CPU、GPU一樣，只是功能有所不同，能夠實現終端SoC的高度集成化，實現靈活性和高效率的平衡。
對于已有的芯片，“周易”平臺可以通過Tengine軟件框架，進行統一推理，通過定義標準的Tengine API，人工智能應用程序可以使用標準API在不同的硬件上部署，大大節省了移植或者在特定的硬件上進行優化的工作量。

而對于新開發的芯片，“周易”平臺可以讓芯片合作伙伴使用AIPU IP設計新的SoC，并提供了驗證測試向量、參考用例和后端實現參考流程等全面支持，以加速新的SoC設計；同時，周易AIPU 仿真軟件用于軟件應用程序前期開發。這將大大加快產品的上市時間。

當芯片設計出來后，周易Tengine軟件框架內包含不同的library，包括Arm全球library，OPEN AI LAB library等。通過這些高性能的library，可以對不同算力做分布和調度。而在上層支持不同的主流算法，比如Caffe、PyTorch等。基于這些框架開發出來的算法可以無縫地應用在Tengine上。

如何賦能現有AI產業？

“在2020年之前，誰的軟件最好用，誰就能真正掌控市場”，金勇斌表示，“只要軟件工具好用，就能夠幫助下游合作伙伴迅速開發產品，搶占落地先機?！币舱侨绱?，Arm提供整套完整的工具鏈，從IP開發到軟件開發，其中包括編譯器、性能優化庫等。對芯片廠商來說，可以通過其中包含的仿真器和算法示例等來幫助軟件開發。因此，“周易”AI處理引擎對用戶來說相當于是一鍵式開發服務，可以把他們想實現的算法一鍵式地部署到“周易”上。


芯片公司不必專門開發基于AIPU的專用AI芯片，或是包含AIPU單元的芯片。哪怕是基于現有的成熟芯片，通過Tengine把算力提取出來，可以直接實現更多現成的算法，能夠大幅度提高性能，改善用戶體驗。如下圖所示，可以帶來順流而下的改變，“在上游把一個根本問題解決了，下游的普及速度就會非?？臁?/strong>”金勇斌說道。

圖4，Tengine賦能產業鏈上下游

“周易”平臺作為Arm中國首款自主研發產品，在去年11月的世界互聯網大會上首次亮相。半年過去了，這款產品取得了哪些實質性的進展？

據了解，一些基于“周易”平臺Tengine的使用場景已經落地。比如行車記錄、智能停車、ADAS等，包括對司機的行為檢測。另外還有一個重要的應用就是安防，比如人臉識別的門禁和閘機。以前需要把采集的人臉數據交由后端服務器處理，而現在通過Tengine，無需硬件改動，可自動在前端進行人臉識別，只需將匹配結果上傳。這樣極大地降低了網絡的部署成本，數據流量實現了指數級減小。根據一個做前端人臉布控系統的用戶案例，布一點一線綜合成本需要一萬八，而基于“周易”成本基本控制在了兩千元以內，整體成本幾乎實現了十倍節省。據透露，最快明年年中會有基于“周易”AIPU的SoC產品問世。

AI生態需要交叉合作、競爭

金勇斌作為Arm中國生態發展副總裁，同時也是OPEN AI LAB創始人兼CEO。談及AI目前的生態建設時，他表示，很多AI公司處理器、框架、應用等都是自己垂直在做，這樣的做法有點像IBM早期做PC的模式，獨立開發處理器、指令集、芯片、設備、應用、系統等。而為什么微軟的Windows就能夠非常普及？主要因為它開放給第三方做應用程序，這樣就形成了巨大的生態。他認為，AIoT時代也一樣，一家公司從沙子做到云的模式一定是行不通的，AI生態需要在每個層級上進行交叉合作、競爭，這樣才能夠把成本降下來，把普及率提高，把滲透性做好，這樣才能盡早實現未來的1萬億市場。

也許這是AI創業最好的時代。大量涌入的資本，加之強大的平臺支持，值得創業者能夠更加快速地開發出SoC芯片。但是，即使芯片開發的門檻有所降低，芯片開發一定要謹慎，并且要在設計之初做好產品規劃、明確市場應用空間，否則，最終還是難免慘遭淘汰。