導讀:為了推動基于工業互聯網的智慧工廠快速發展,邊緣智能技術相關研究與應用獲得廣泛關注。針對邊緣節點計算資源受限的難題,提出了基于邊緣智能協同的工業互聯網體系,并給出了邊緣智能協同計算任務分配與邊緣智能模型輕量化方法。邊緣智能協同計算技術解決了單一邊緣節點計算能力與智慧工廠應用海量計算資源需求間的矛盾,降低了邊緣智能技術的部署開銷,提高了工業互聯網部署的靈活性與可擴展性。
0 引言
工業互聯網已成為全球制造業發展的新趨勢,我國作為制造業大國,為了應對新一輪科技革命和產業變革,從戰略規劃與技術推動等多方面開展了相關行動。習近平總書記在制造強國戰略重要論述中要求,推動制造業高質量發展,堅定不移建設制造強國。在新基建的推動下,5G、人工智能、云計算等技術與傳統工業深度融合,為實現智能制造提供了技術支撐,將有力促進制造強國早日實現。
國際上,德國提出“工業4.0”、美國提出“先進制造業國家戰略計劃”、日本提出“科技工業聯盟”、英國提出“工業2050戰略”,也都是為了實現信息技術與制造技術深度融合的數字化、網絡化、智能化制造,實現智慧工廠[1]。
在智慧工廠建設中,工業互聯網賦能智能制造,工業互聯網作為關鍵技術手段,通過對工業要素的互聯互通、相關要素的深度協同,實現了設備管理精細化、生產過程一體化、企業管理標準化、分析應用數據化和決策支持科學化[2]。
邊緣智能是邊緣計算與人工智能相互結合的一種新興技術方案,其發展對邊緣計算和人工智能具有雙贏優勢:一方面,邊緣數據可以借助智能算法釋放潛力,提供更高的可用性。隨著萬物互聯的發展,邊緣數據需要借鑒智能算法進行分析,實現智能化的功能。以深度學習為代表的智能算法能從邊緣數據中提取實時信息以提高決策的效率和準確性[3-4]。
另一方面,邊緣計算能為智能算法提供更多的數據和應用場景。傳統的人工智能和大數據應用都存放在云端服務器和大數據中心[3-4],而邊緣智能技術在網絡邊緣部署具備通信與計算能力的邊緣設備(稱為邊緣節點),直接從物端設備獲取海量數據并實現智能計算,將有力推動人工智能應用的進一步普及與發展,特別是工業互聯網相關的應用[5]。
但邊緣智能技術發展面臨多方面困難,包括人工智能算法的資源需求與邊緣節點資源有限之間的矛盾、智能任務需求多樣與邊緣節點設備能力單一之間的矛盾等。邊緣智能協同計算系統由中心云服務器、邊緣節點、物端設備之間的協作組成,可以有效地解決上述矛盾。
基于邊緣智能協同的工業互聯網體系,解決了邊緣節點計算資源受限的難題,滿足了智能制造等工業應用場景對任務響應時延的要求。本文所提邊緣智能協同計算主要是考慮多個邊緣節點之間的協同,通過合理優化任務分配策略,在工業互聯網網絡邊緣完成各種應用的智能計算,既可以減輕單一邊緣節點的計算壓力又可以滿足各類人工智能算法對算力的需求,在滿足工業互聯網智能計算應用需求的同時避免了云服務器到物端設備的計算任務的通信開銷。進一步地,為了降低邊緣節點部署的軟硬件開銷,本文提出了相應的邊緣智能模型輕量化方法,提升邊緣智能協同計算技術的可擴展性,有助于面向智慧工廠的工業互聯網絡的廣泛應用。
1 基于邊緣智能協同的工業互聯網體系
未來智慧工廠的應用需求,例如基于視覺檢測的故障缺陷自動檢測、集中遠程操控等,需要實現工業生產效率提升、工業投資有效提升、安全生產性能提升。在智慧工廠中,遠程操控類、無人搬運車及移動監控類業務對于響應時延要求非常高,除了網絡傳輸時延之外,人工智能的計算時延、大數據分析的處理時延等也至關重要。因此,本文在工業互聯網體系中引入了邊緣智能協同概念,設計了相應的基于邊緣智能協同的工業互聯網體系架構。在如圖1所示基于邊緣智能協同的工業互聯網體系架構中,從邊緣設備到云端主要包括以下功能模塊。
圖1 基于邊緣智能協同的工業互聯網體系架構
(1)工藝建模與參數優化模塊:通過邊緣設備和傳感器等采集工廠生產線、運營系統等數據,通過大數據分析與工藝建模,得到最優的工藝參數配置,并結合人工智能算法獲得工藝參數調優方法,實現工業生產效率的提升。
(2)邊緣智能協同與算法實現模塊:針對智慧工廠基于人工智能的垂直應用高計算容量需求與實際生產環境下邊緣設備計算能力有限的典型矛盾,利用邊緣智能協同計算技術實現邊緣設備高效實時信息采集與處理。典型應用包括有色金屬加工行業中的銅箔質量實時監測與生產設備故障預檢等。
(3)無線空口安全防護模塊:針對工業互聯網應用中無線傳播特性下存在的空口安全隱患,提供無線空口安全防護能力,例如檢測違法終端與基站、防御多種安全攻擊等,以確保廠區無線通信環境安全可控,提升安全生產性能。
(4)云邊協同智能管控平臺:針對上述功能模塊,形成云邊端一體化系統與管控平臺,支持大數據存儲分析、人工智能建模與算法實現、可視化界面管理。本文給出的基于邊緣智能協同的工業互聯網體系架構設計方案充分利用了邊緣智能協同計算能力,滿足智慧工廠各類應用的性能要求,提供確定性業務保證的能力。
2 邊緣智能的協同計算任務分配
通過進一步利用邊緣節點強大的可計算的擴展能力,可以在邊緣環境架構下實現對深度學習的神經網絡模型的并行訓練,以達到時延更小的目的,更好地將云服務器計算量卸載到邊緣。分布式模型的并行訓練包括不同任務網絡模型間的并行訓練、同一任務網絡模型內部的并行訓練兩個方面。
2.1 不同任務網絡模型間的并行訓練在實際場景中通常存在多種任務需要同時進行處理,包括質量檢測、視頻監控、危險預警等任務。受益于邊緣節點的多任務計算能力,可以在邊緣節點中部署多種任務的子模型,以達到在某一邊緣節點進行不同的數據分析處理任務的目的。
邊緣節點可以將從傳感器設備接收到的數據執行分配到的任務,通過將自身的子任務模型得到的結果傳輸至云服務器,并且同時對自身的子任務網絡模型進行訓練,而后將多個子任務網絡模型訓練得到的權重分別傳輸至云服務器進行模型同步。云服務器一般具有任務分配、資源分配、數據管理以及數據可視化功能。云服務器可以根據邊緣節點的算力不同以及任務的優先級不同給邊緣節點分配不同的子任務與資源,并且根據各個邊緣節點更新得到的任務網絡模型的權重對模型進行同步,而后分析匯總各個邊緣節點的子任務執行結果,對相應數據結果進行可視化展示。為了進一步降低時延,每隔一定周期根據任務復雜度與邊緣節點的計算能力之間的關系分配任務,以達到減少信號處理任務完成時間的目的。
2.2 同一任務網絡模型內部的并行訓練對于質量檢測、視頻監控等涉及圖像處理的任務,可以在不同邊緣節點之間實現同一任務網絡模型內部的并行訓練,包括卷積層與全連接層的訓練并行化。
(1)卷積層的訓練并行化:假設輸入卷積層的圖像或者視頻幀數據矩陣為X,卷積核矩陣為F,將X與F進行卷積相乘后得到特征矩陣A。根據卷積層的特性,多個卷積區域間互不產生影響,因此可以將X拆分為多個卷積區域進行并行卷積,從而達到進一步降低時延的目的。將每個卷積區域分別與濾波器參數矩陣卷積,可以組成特征矩陣A,其中的每個元素都是基于X和F中對應的卷積區域計算的。不同的任務可以同時訪問X中不同的卷積區域而不需要更新它們的值,這些任務之間不存在數據依賴性。
(2)全連接層的訓練并行化:全連接層部署著多個神經元,每層的神經元均與前一層的神經元全部相連。設在第i層的Li一共有ni個神經元,每個神經元與前一層的ni-1個神經元全部相連,但是此層的神經元均相互獨立,因此每層的每個獨立的神經元可以進行并行計算。
2.3 權重更新與模型同步對于每一個邊緣節點,需要根據傳感器接收到的數據進行實時的子任務模型訓練與更新,而由于邊緣節點的算力不同、存儲資源不同可能導致多個邊緣節點的工作負載、傳輸能力不在同一等級上,因此需要云服務器對邊緣節點的子任務模型進行同步。權重更新與模型同步的步驟如下。
(1)協同初始化:云服務器在給各個邊緣節點分配子任務時,由云服務器同時給每個子任務網絡模型賦予相同的全局權重系數W0,其可以由云服務器提前對一些輸入數據進行訓練得到。
(2)邊緣節點本地權重的更新:邊緣節點通過分配到的子任務網絡模型的初始全局權重W0對輸入數據進行分析,并將這些數據傳輸至云服務器進行數據可視化展示。同時,邊緣節點m根據輸入數據對本地權重系數 W0m進行更新,更新為W1m,待到迭代一定次數后,將其傳輸至云服務器。
(3)云服務器全局權重的更新:云服務器接收到一定迭代次數后全部邊緣節點的本地權重系數W1m之后,根據W1m通過對原來全局權重系數進行分析調整后,即可得到新的全局權重W1,其更新的公式為:
其中,Qm為每個邊緣節點的本地權重在全局權重更新過程中的系數,而后再將該系數廣播到所有的邊緣節點上完成模型同步。最后,重復步驟(2)、(3)即可不斷地更新邊緣節點之間的模型直至達到完全收斂。
3 邊緣智能計算模型輕量化
在智慧工廠應用中,大部分面向機器視覺的智能計算任務一般使用深度卷積神經網絡進行計算,其巨大的參數量和通道量使習得的神經網絡模型在應用中需要消耗大量的存儲和計算資源,這對模型在移動端和嵌入式設備上落地帶來困難。因此,為了適應終端有限的內存和計算條件,有必要在模型正式部署前對神經網絡進行優化。本文采用基于知識蒸餾的邊緣智能計算模型輕量化方法。知識蒸餾是一種通用的神經網絡輕量化方法,通過對教師模型所習得的知識進行學習,以獲得網絡更加緊湊的學生模型,并且能夠在節省內存占用的同時很好地保留原始網絡的性能。
基于知識蒸餾的神經網絡輕量化訓練流程如圖 2(a)所示。可采用多任務的學習方法,將訓練好的教師模型的輸出結果sT以及數據的真實標簽y作為學生模型的目標來訓練學生模型,以使學生網絡的輸出結果接近目標值。訓練完的學生模型還可直接應用到實際部署的具備邊緣智能能力的設備中,具體參見圖2(b)。
圖2 基于知識蒸餾的神經網絡輕量化訓練流程
具體來說,可以把模型看成一個黑盒子,把知識定義為輸入到輸出的映射關系。采用網絡的Softmax輸出結果作為學習任務的目標進行訓練,公式為:
其中,xi表示輸入x的第i個元素,Softmax表征了網絡對輸出結果的預測概率,并利用T因子縮小不同結果的概率差距,以使訓練目標能夠提供更多的類別間和類內信息。同時,因為訓練時使用了有標簽的數據,將標簽y與學生模型的Softmax分布的交叉熵加入到損失函數中,加入更多的監督信號,可以改善學生模型的表現。
4 結束語
本文提出了基于邊緣智能協同的工業互聯網體系,研究了邊緣智能協同計算任務分配與邊緣智能模型輕量化方法。邊緣智能協同計算技術實現了在工業互聯網網絡邊緣完成各種應用的智能計算,解決了邊緣節點計算資源受限的難題,滿足了智能制造等工業應用場景中對任務響應時延的要求,有助于面向智慧工廠的工業互聯網絡的廣泛部署與應用。
參考文獻
[1] 宋慧欣。 和利時: 深拓FA, 布局智能工廠[J]。 自動化博覽, 2016(8):20-22.[2] 郭義偉。 2023年實現集團全覆蓋[N]。 中國煤炭報, 2019-07-09(008)。[3] 施巍松, 張星洲, 王一帆, 等。 邊緣計算: 現狀與展望[J]。 計算機研究與發展, 2019,56(1):69-89.[4] 張星洲, 魯思迪, 施巍松。 邊緣智能中的協同計算技術研究[J]。 人工智能, 2019(5):55-67.[5] 李肯立, 劉楚波。 邊緣智能: 現狀和展望[J]。 大數據, 2019,5(3):69-75.
編輯:lyn
-
人工智能
+關注
關注
1791文章
47183瀏覽量
238259 -
5G
+關注
關注
1354文章
48436瀏覽量
563968 -
工業互聯網
+關注
關注
28文章
4320瀏覽量
94096 -
邊緣智能
+關注
關注
1文章
71瀏覽量
7518
原文標題:面向智慧工廠的工業互聯網邊緣智能協同計算技術研究
文章出處:【微信號:IndustryIOT,微信公眾號:工業互聯網前線】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論