軟件可編程！硬件可編程！I/O也可編程！

既能軟件定義，又能硬件優化，管你市場風云變幻，管你市場標準、用戶需求如何莫測， 賽靈思All Programmable （全可編程芯片） 都能像變形金剛一樣， 讓用戶的設計永居科技前沿！

然而……

由于可編程器件硬件編程模式的限制，全可編程的解決方案一直惠及的只是少數擁有硬件專業知識的工程設計者。盡管賽靈思通過高層次綜合工具Vivado HLS 以及軟件定義設計環境系列SDSoC/SDAccel 讓上千用戶也享受到了硬件加速設計的優勢， 但是這些還是遠遠不能滿足市場對全可編程技術的需求。

賽靈思全球同步發布最新軟件定義reVISION? 堆棧，宣布能夠支持更廣泛的很少或沒有硬件設計專業知識的嵌入式軟件和系統工程師，使其也能利用賽靈思的技術更輕松、更快速地開發視覺導向的機器學習應用。讓我們來了解一下這個全新的reVISION吧 。

reVISION： 將全可編程技術擴展至廣泛的視覺導向機器學習應用

機器學習的應用正迅速地擴展至越來越多的終端市場，在用戶端、在云端或者在那些基于端處理與基于云的數據分析相結合的混合解決方案中。

面向云應用，賽靈思最近推出了可重配置加速堆棧（2016年11月推出），目標直指包括機器學習推斷在內的各種計算加速應用。 面向端應用，賽靈思現在宣布憑借Xilinx? reVISION? 堆棧大幅擴展至廣泛的視覺導向機器學習應用。 全新的reVISION堆棧能夠支持更廣泛的很少或沒有硬件設計專業知識的嵌入式軟件和系統工程師，使其也能利用賽靈思的技術更輕松、更快速地開發視覺導向的機器學習應用。

圖1， 賽靈思擴大機器學習應用從端到云的部署 （來源：Machine Learning Landscape - Moor Insights & Strategy Research Paper）

廣泛的賽靈思視覺和機器學習應用

如圖2 所示， 放眼全球，賽靈思已經成為眾多企業構建先進嵌入式視覺系統的最佳選擇。 截至今天，全球已經有23 家汽車制造商在 85 款不同車型的 ADAS 系統中部署了賽靈思先進的嵌入式視覺系統，另外還有數百家嵌入式視覺客戶在其他數千種應用中也部署了賽靈思的先進嵌入式視覺系統。其中至少有40家已經在開發或部署機器學習技術以大幅提高系統的智能。現在，大多數的賽靈思視覺客戶包括具有很強硬件專長的工程師們，都看準了 Zynq? All Programmable SoC 和 MPSoC 的應用。

圖 2：賽靈思嵌入式視覺行業成就

reVISION 的目標應用和使命

賽靈思正在為一些熱門市場的應用提供支持。在這些市場中，差異化至關重要，系統必須響應迅速，最新算法和傳感器必須能夠被快速部署。這些應用包括“專業消費類”應用、汽車、工業、醫療、航空航天、軍用以及高端前沿消費者應用。這些應用通常不包括部署在差異化較低的“夠用就好”或者發展成熟的技術之上的非常大批量的消費類應用或者主流商品化應用在。

如圖 3 所示，眾多的傳統嵌入式視覺應用通過采用機器視覺和傳感器融合技術后都在發生巨變。

圖3. 從嵌入式視覺到視覺導向的自主系統

下一代應用包括協作機器人、具有感應和躲避功能的無人機、增強現實、自動駕駛汽車、自動化監視和醫療診斷等。這些系統通常具有三大使命：

第一：系統不僅要會思考，而且還能對情境立即做出“響應”。這就要求一個從感應到處理、分析、決策、通信和控制整個流程中更一致的視圖。同時還要高效實施、部署最新機器學習技術，滿足8位及更深層面的精確性要求。注意，針對機器學習訓練優化的技術繼續偏離對機器學習推斷優化的技術。 賽靈思已經專門為推斷技術優化了其全可編程器件系列。

圖4：下一代視覺導向系統的應用使命

第二：鑒于神經網絡和相關算法的快速變化以及傳感器的快速發展，必須實現靈活性，能通過軟硬件的可重配置性升級系統。

第三：由于許多新系統都連接到了一起（物聯網），因此需要既能與傳統的已有設備通信，也能與未來推出的新設備通信，同時還要能夠進行云端通信。賽靈思將此定義為任意互聯。

賽靈思器件可以獨特地支持以上所有三大使命， 且比其它替代方案擁有顯著的和可測量的優勢。 通過高效的推斷和控制，賽靈思實現了傳感器的最快響應時間，支持最新的神經網絡，算法和傳感器的可重構性，并支持與傳統或新機器、網絡和云的任意連接。

圖5：賽靈思獨特的應用優勢

然而，賽靈思器件的這些優勢原來只有那些擁有硬件或者RTL 設計專長的專業用戶才能受益，對于更廣泛的應用和支持使用行業標準庫和框架進行軟件定義編程，還存在巨大的障礙。 reVISION堆棧的誕生， 解決了這個通往廣泛應用的障礙。

圖6：廣泛應用的障礙

賽靈思 reVISION 堆棧包括用于平臺、算法和應用開發的豐富的開發資源，支持最流行的神經網絡（諸如 AlexNet、GoogLeNet、SqueezeNet、SSD 和 FCN）以及庫元素（如 CNN 網絡層的預定義優化型實現方案，這也是構建定制神經網絡 DNN/CNN 所需的）。配合豐富的滿足加速要求的 OpenCV 功能，支持機器視覺處理。對應用層面的開發來說，賽靈思支持流行的框架，包括用于機器學習的 Caffe 和用于計算機視覺的 OpenVX（將于 2017 年下半年推出）。reVISION 堆棧還包括賽靈思和第三方提供的基于 Zynq SoC 和 MPSoC 的開發平臺。

圖7：賽靈思reVISION 堆棧

移除了通往廣泛應用的障礙

reVISION 堆棧支持一大批廣泛的設計團隊無需深層的硬件專業技術，使用軟件定義開發流程就能將機器學習和計算機算法的高效實現方案整合到響應迅速的系統中。

圖8：reVISION 的軟件定義設計流程

如圖 8 所示，reVISION 開發流程從 熟悉的C、C++ 和/或 OpenCL 語言及相關編譯器技術的基于 eclipse 的開發環境（即 SDSoC 開發環境）啟動。在 SDSoC 環境中，軟件工程師和系統工程師能以 reVISION 硬件平臺為目標，并采用大量的加速就緒型計算機視覺庫，很快還能采用OpenVX框架，從而快速構建應用。

對于機器學習，我們可用 Caffe 等流行的框架來培訓神經網絡，用 Caffe 生成的 .prototxt 文件對基于 ARM 的軟件調度器進行配置，從而驅動專門為可編程邏輯預先優化的CNN 推斷加速器。

對計算機視覺和其他專有算法來說，用戶可對軟件代碼進行特征分析，發現瓶頸，并在代碼中標出希望加速并進行“硬件優化”的特定功能。“系統優化編譯器”則用來創建加速的實現方案，包括處理器/加速器接口（數據移動器）和軟件驅動器。結合計算機視覺和機器學習功能，該編譯器能創建優化的融合實現方案。

如圖 9 左側所示，專家級賽靈思用戶采用傳統 RTL 設計流程，與 ARM 軟件開發人員合作，要花大量設計時間才能開發出高度差異化的機器學習和計算機視覺應用。

圖9：reVISION 堆棧 —— 移除通往廣泛應用的障礙

為進一步加快設計進程，減少對硬件專家的依賴，賽靈思大約在兩年前推出了基于 C、C++ 和 OpenCL 語言的 SDSoC 開發環境。雖然這幫助其它上千名能夠開發自己的基礎平臺、庫和應用的用戶大幅縮短了開發周期，但仍無法滿足廣泛機器學習應用推廣與部署的要求，而且機器學習也帶來了復雜問題。

如圖 10 所示，賽靈思的全新 reVISION 堆棧使更多軟件工程師和系統工程師無需掌握或只需掌握一點硬件設計專業技術，就能夠更輕松快速地開發出智能嵌入式視覺系統，包括將機器學習和計算機視覺算法的超高效實現方案整合到高響應性系統中。

圖10：賽靈思 reVISION 和 Nvidia Tegra X1 對比

從傳感器到推斷和控制的最快響應性

如上所述，軟件定義的 reVISION 流程支持快速開發響應最快的系統。事實上，相比嵌入式 CPU 和典型 SoC 的性能參數，賽靈思的表現大大超越了英偉達 （ Nvidia） 這一強手。

將基于 Zynq SoC 的 reVISION流程與 Nvidia Tegra X1 進行基準對比可以看出，reVision流程講機器學習的單位功耗圖像捕獲速度提升了6 倍，將計算機視覺處理的幀速率提升了 42 倍，而時延僅為 1/5（以毫秒為單位），這些數據對實時應用而言都是至關重要的。

如圖 11 所示，擁有速度極快的確定性系統響應時間非常有用。我們從這個例子看到，一輛汽車采用賽靈思基于 Zynq SoC 的reVISION 與采用 Nvidia Tegra 的汽車一起識別潛在的碰撞事故并采取剎車，在速度為 65 mph 情況下，根據 Nvidia器件的具體實現方案，賽靈思的響應時間可以讓汽車在5到33英尺的距離停下，從而輕松實現安全剎車，避免碰撞。

圖11：響應時間為什么重要：賽靈思和 Nvidia Tegra X1 的對比

響應時間的的這些顯著優點來源于Zynq SoC相對于嵌入式GPU和典型SoC的基本架構優勢。 如圖12所示，嵌入式GPU和典型SoC需要從傳感器到視覺、機器學習和控制處理頻繁訪問外部存儲器。 相比之下，Zynq SoC部署了使用可編程邏輯和顯著多得多的內部存儲器（高達Nvidia Tegra X1的19倍）實現的優化和流線型數據流。 這不僅實現了相對替代方案1/5的延遲，而且還實現了對于許多實時應用至關重要的確定性的響應能力。

圖12：賽靈思響應時間優勢的來源

面向最新網絡和傳感器的可重配置性

響應時間很重要，而賽靈思解決方案還提供了非常獨特的可重配置性優勢。為了能夠用尖端神經網絡和機器學習推斷效率部署最佳系統，工程師必須能夠在整個產品的產品生命周期同時優化軟硬件。如圖 13 所示，機器學習領域最后兩年的發展所帶來的科技進步超越了過去 45 年的水平。許多新的神經網絡隨著新技術的出現不斷發展，也大幅提高了的部署效率。不管今天制定什么標準，未來部署什么，都需要通過硬件可重配置性確保滿足未來需求。只有賽靈思全可編程（All programmable）的器件才能提供這種級別的可重配置性。

圖13：隨著機器學習技術的發展，為什么可重配置性非常重要？

如圖14所示，對快速演進傳感器技術的管理同樣需要可重配置性。人工智能（AI）革命加速了傳感器技術在不同領域的發展演進，也要求更高水平的傳感器融合，以整合不同類型的傳感器，以便在該環境了構建全面而完整的系統環境和對象視圖。與機器學習類似，不管制定什么傳感器配置標準、未來如何實現，都需要通過硬件可重配置性來滿足未來需求。同樣，只有賽靈思 All programmable 器件才能提供這種級別的可重配置性。

圖14：為什么隨著傳感器的發展，可重配置性非常重要？

任意連接和傳感器接口

如圖 15 所示，基于 Zynq 的視覺平臺提供了穩健可靠的任意連接能力和傳感器接口優勢。

Zynq 的傳感器和連接性優勢包括：

● 相對于目前市場中其它 SoC而言，帶寬提升高達 12 倍，包括支持原生的 8K 和定制分辨率。

● 大幅增加了高低帶寬傳感器接口和通道，支持差異化傳感器組合，包括RADAR、LiDAR、加速計和力扭矩傳感器。

● 業界領先的最新數據傳輸和存儲接口支持，為滿足未來標準要求可方便地進行重新配置。

圖 15： 傳感器 &連接器 ：Xilinx 與 Nvidia 和 典型SoC對比

與其它解決方案對比

通過將 Zynq 平臺的獨特優勢和配備了各種庫和業界標準框架支持的軟件定義開發環境融為一體，reVISION 為視覺系統開發提供了最佳替代方案。如前所述，reVISION 的獨特之處在于能實現智能應用的三大使命，以最新技術滿足差異化和上市進程的重要要求，同時支持最快響應性、可重配置性、任意連接和軟件定義編程。它同時還利用軟件定義的編程模式移除了通往廣泛應用的障礙。

如圖 16 所示，在縱軸上只有 reVISION 能支持從傳感器到機器學習推斷和互聯控制的優化，實現最佳系統響應時間。在橫軸上，只有reVISION能為硬件優化的算法加速提供所需的可重配置性，并能升級更新到最新的傳感器和連接性需求。雖然許多賽靈思器件客戶的硬件專家已經能夠實現這些優勢，但是全新的reVISION堆棧通過使用行業標準庫和框架實現軟件定義的編程，消除了向更廣泛應用的障礙。

圖16：賽靈思 —— 面向目標市場反應最快且可重配置的最佳選擇

總結： reVISION

通過Xilinx reVISION? 堆棧的推出， 賽靈思將技術擴展至廣泛的視覺導向機器學習應用領域。reVISION? 堆棧的推出進一步補充和完善了近期發布的可重配置加速堆棧，大幅擴展了賽靈思技術在機器學習應用領域從端到云的部署。全新的reVISION堆棧能夠支持更廣泛的很少甚至沒有硬件專業知識的軟件和系統工程師，使其可以更輕松、更快速地開發視覺導向的智能系統。一旦將機器學習、計算機視覺、傳感器融合和連接的優勢融為一體，這些工程師將從中大受裨益。

責任編輯：gt