前言

為什么說邊緣計算帶來了數據、計算的根本變化？

邊緣AI是邊緣計算最重要的應用之一，它的挑戰是什么？

一個用于邊緣計算場景的新型AI服務部署平臺——Astraea是如何誕生的？

如何通過Astraea一鍵化部署邊緣AI服務？

近日，阿里云邊緣計算團隊博士后付哲的論文《Astraea: Deploy AI Services at the Edge in Elegant Ways》入選2020年IEEE邊緣計算國際會議（IEEE International Conference on Edge Computing），并在大會上進行了宣講。他和他的團隊如何看待以上問題，本文將為您解答。

邊緣計算：5G時代對云網融合的挑戰

近年來，邊緣計算已經成為信息和通信技術中最熱門的研究領域之一。隨著5G時代的到來，越來越多的設備連接到互聯網上，伴隨著視頻直播、云游戲、VR/AR、自動駕駛等帶寬消耗和延遲敏感的應用，給云計算帶來了巨大的挑戰。

邊緣計算支持分布式計算模式，將計算和數據資源轉移到靠近最終用戶的邊緣節點，從而為新時代的創新應用提供高帶寬、低延遲和大規模連接能力。

邊緣計算帶來了數據、計算分布的根本變化。5G有以下特性：eMBB（增強型移動寬帶）、uRLLC（超可靠低延遲通信）、mMTC（大規模機器類型通信）。這些特性驅動著越來越多的數據和計算從云端轉移到邊緣。有行業報告表示：在5G時代，80%數據和計算將發生在邊緣。

邊緣 AI 是邊緣計算的重要應用之一

與此同時，邊緣人工智能越來越受到人們的關注。Gartner去年的一份報告顯示，Edge-AI正從其幼年期走向頂峰，預計將在2-5年內達到成熟期。我們時常在媒體報道中看到如下說法：邊緣人工智能是下一波人工智能，人工智能是邊緣計算中最常見的負載，人工智能是邊緣計算的殺手級應用，等等。

人工智能的思維方式與人類的思維方式非常相似。一個人從過去發生的事情中吸取教訓，從而得到終身的教訓，如果有新的問題，他/她可能會從他/她以前學到的教訓中得到解決辦法。就像人類所做的一樣，人工智能模型是從訓練數據中訓練出來的，如果有新的數據，模型就會輸出結果。第一階段稱為訓練，第二階段稱為推理。訓練和推理是人工智能的兩個主要階段。

訓練階段需要大量的計算能力，因為它需要大量的矩陣乘法和迭代，而且即使使用GPU這樣的硬件加速，對于復雜的模型通常也需要幾個小時或幾天的時間。推理階段需要相對較低的響應時間，特別是對于某些對延遲敏感的應用程序，如自動駕駛等等。推理的整個過程應該在不到1秒甚至更短的時間內完成。隨著神經網絡越來越深入和復雜，海量的計算資源需求爆發，在移動設備上進行人工智能推理變得越來越困難。

云-邊-端計算任務卸載與協作

新興的邊緣計算范式帶來了一個更好的解決方案，將人工智能服務的部分計算遷移到邊緣，以緩解延遲和帶寬瓶頸。這存在兩個關鍵問題：第一個問題是是否將任務從云或終端設備卸載到邊緣，第二個問題是如何以適當的方式將任務分配給云、邊緣和終端設備。

我們設P為終端設備、邊緣服務器和云服務器的處理能力，C為計算任務量，D為需要傳輸的數據，B為終端設備與邊緣節點或中心云之間的帶寬。如果等式（1）成立，將計算從終端設備遷移到邊緣服務器可以減少響應時間。如果等式（2）成立，則將計算遷移到邊緣服務器后的性能優于遷移到中心云。

但是，邊緣AI依舊存在痛點和難點。主要包含以下三個方面：

難部署

AI框架種類眾多，算法模型難以直接部署到生產環境，提供服務調用接口

邊緣資源類型異構，不同AI服務對資源需求不同

難運維

生產環境的 AI 服務需要支持服務生命全周期管理，包括版本升級、灰度發布、狀態監測、自動擴縮容等等

難調度

邊緣計算是典型的分布式系統，需要為終端用戶選擇合適的邊緣資源提供邊緣AI服務，同時在用戶體驗、算力成本和流量成本上做到最優權衡

人工智能模型的開發人員和數據科學家通常不知道或不太關心他們的模型在生產環境中是如何服務的。例如，在邊緣部署模型時，必須考慮到不同框架的AI模型需要不同的部署方式，同時也需要一個API服務器將AI模型對外提供給終端用戶。此外，邊緣人工智能服務還需要全生命周期管理的能力，包括版本升級、灰度發布、自動縮放等，以及靈活的調度能力，以優化用戶體驗、計算成本和流量成本之間的權衡。

Astraea的誕生

因此，阿里云邊緣計算團隊提出了Astraea — 一個適用于邊緣計算場景的新型AI服務部署平臺，它簡化了部署階段，同時充分利用了邊緣計算的優勢。一個AI服務開發者只需提交模型、相關調用腳本和邊緣資源需求，Astraea負責鏡像構建、資源分配、模型服務和狀態監測等全過程，最終提供標準的Restful API供終端設備使用。

Astraea具有以下優點。首先，Astraea的用戶只需要提交不到10行的模板配置，Astraea能夠在1分鐘時間內構建映像，在5分鐘時間內完成服務邊緣部署。其次，Astraea支持Scikit learn、TensorFlow、Pythorch、ONNX等多個人工智能框架，可以一鍵化為AI服務自動生成Restful API。借助Astraea以及阿里云邊緣節點服務，AI服務可以下沉到距離用戶10公里的范圍內。同時，Astraea基于阿里云邊緣節點服務能力實現運維自動化。

如何通過Astraea一鍵化部署邊緣AI服務

左側對圖像進行分類的推理示例，右側邊緣資源需求示例文件。用戶只需輸入astraea build和astraea deploy命令，這個AI服務就自動部署在指定的邊緣節點上，并為用戶提供可被調用的Restful API。用戶可以方便地調用這個API來對圖像進行分類。

基于Astraea，可以實現另外一項邊緣AI服務：實時車牌檢測服務。

使用Raspberry Pi 4和相適配的攝像頭作為終端設備，利用5G CPE提供網絡連接，并使用Astraea部署邊緣AI服務。由視頻可以看到，通過將推理轉移到邊緣節點，我們在Raspberry Pi 4上能夠實現幾乎實時的車牌識別能力。

Astraea項目設計和架構

模型開發人員只需要提交三項文件：第一個文件是AI模型，無論它依賴于哪個機器學習框架；第二個文件是用來表示如何調用模型以及返回的輸出數據格式的腳本文件；第三個文件用來表示AI服務的元信息（包括名稱、版本、API端口等）和邊緣計算資源的需求，包括CPU、GPU、內存大小和AI服務要覆蓋的地理區域。

Astraea能夠自動分析提交的文件，封裝模型并提供Restful API調用能力，構建容器映像并將其推送到邊緣容器倉庫。Astraea同時解析資源需求，并相應地在指定的邊緣節點中運行邊緣AI服務。

Astraea基于邊緣節點服務平臺實現以下能力：

鏡像倉庫：作為邊緣AI鏡像的儲存倉庫，并提供鏡像分發加速能力

應用發布：提供邊緣AI服務的一鍵部署和灰度發布功能

監測運維：負責邊緣AI容器狀態監測和相關日志服務

關于Astraea的實驗測評

阿里云邊緣計算團隊通過在低性能終端設備上實現實時對象識別服務來評估Astraea。在實驗中，選擇Raspberry Pi 4作為終端設備，YOLOv3模型來識別圖像或視頻中的物體。模型的權重是在云中預先訓練的，因為與邊緣節點或終端設備相比，中心云數據中心有更大的能力來訓練模型。同時，在實驗中，選擇了位于中國杭州的邊緣節點（配有Tesla V100 GPU）。

實驗架構：

實驗過程中，終端設備（Raspberry Pi）捕獲圖像，調用Astraea提供的web服務API來獲得識別結果，最后將結果顯示在原始圖像上。作為比較，在第二個實驗中，我們在終端設備處理所有目標識別的任務。

實驗中測試了不同大小、不同分辨率下的檢測性能。如圖所示，在Raspberry Pi 4上的目標識別時間平均為20秒左右，這對于實時目標識別來說是無法接受的。如果使用Astraea在邊緣節點部署目標識別服務，推理時間平均小于0.1秒。即使算上從終端設備到邊緣節點的網絡傳輸時間，該方案平均可以節省98.5%的時間。因此，當目標識別任務中的推理階段被卸載到邊緣節點時，終端用戶感覺到識別速度比終端設備單機方案快25～110倍。此外，我們還測試了視頻中的實時目標識別，結論是相比Raspberry Pi本身處理幀速率提升了50倍。

結論

在本項工作中，阿里云邊緣計算團隊提出了邊緣 AI 部署項目 Astraea，提供從 AI 算法模型到邊緣云部署的一站式解決方案，解決模型開發者“算法落地”和“部署運維”兩方面的難題。Astraea 能夠自動化地完成 AI 服務在邊緣節點的部署，將 AI 模型的推理過程轉化為 Restful API 接口供終端用戶調用，提供低時延、省帶寬、廣覆蓋、易運維的邊緣 AI 服務。實驗結果表明，通過計算任務的卸載和協同，邊緣AI服務相較于傳統方法能夠得到25倍至110倍的性能提升。

原文標題：IEEE EDGE 2020論文：Astraea — 以優雅的方式在邊緣部署AI服務

文章出處：【微信公眾號：中山市物聯網協會】歡迎添加關注！文章轉載請注明出處。

責任編輯：haq