演講嘉賓 | 徐子川

回顧整理 | 廖 濤

排版校對 | 李萍萍

嘉賓介紹

OpenHarmony技術(shù)俱樂部分論壇

徐子川，大連理工大學(xué)教授、博士生導(dǎo)師，大連理工大學(xué)OpenHarmony技術(shù)俱樂部主任，教育部重點(diǎn)實(shí)驗(yàn)室副主任。研究方向?yàn)檫吘壴品?wù)，領(lǐng)域涵蓋邊緣智能，網(wǎng)絡(luò)功能虛擬化，云原生等。在頂級期刊和會議發(fā)表論文100余篇，谷歌學(xué)術(shù)引用超過3800次，h-index 34，持有10余項(xiàng)專利和3項(xiàng)軟件著作權(quán)。

視頻回顧

打開嗶哩嗶哩APP，觀看更清晰視頻

正文內(nèi)容

近十年間，我國云服務(wù)市場規(guī)模快速增長，邊緣計(jì)算需求激增,云邊協(xié)同成為未來重要演進(jìn)方向。Serverless作為一種構(gòu)建和管理基于微服務(wù)架構(gòu)的技術(shù)，為軟件架構(gòu)設(shè)計(jì)與應(yīng)用服務(wù)部署帶來了新的設(shè)計(jì)思路，在邊緣計(jì)算場景中正得到廣泛應(yīng)用。如何基于Serverless邊緣云實(shí)現(xiàn)容器鏡像的彈性部署？大連理工大學(xué)教授、OpenHarmony技術(shù)俱樂部主任徐子川在第二屆OpenHarmony技術(shù)大會上進(jìn)行了精彩分享。

01

研究背景

目前，我國企業(yè)“上云用云”進(jìn)程加快、計(jì)算業(yè)務(wù)需求激增、物聯(lián)網(wǎng)數(shù)據(jù)爆炸式增長。為了解決網(wǎng)絡(luò)帶寬限制、存儲能力限制、AI算力限制等實(shí)際痛點(diǎn)，以及滿足特定場景高時效性要求，云計(jì)算逐漸在用戶邊緣側(cè)的延伸，實(shí)現(xiàn)算力下沉。邊緣計(jì)算為云計(jì)算提供了更快的速度、更高的安全性、更可靠的計(jì)算環(huán)境以及可擴(kuò)展性，是萬物互聯(lián)的關(guān)鍵技術(shù)之一。

如果簡單地把云服務(wù)從云數(shù)據(jù)中心下沉到邊緣側(cè)，存在以下2個主要問題：（1）服務(wù)部署粒度大、邊緣資源利用率低。IDC的計(jì)算資源冗余，平均利用率低至10%；（2）邊緣資源受限、大規(guī)模可擴(kuò)展性差。大規(guī)模服務(wù)請求響應(yīng)速度慢。為了避免資源浪費(fèi)、實(shí)現(xiàn)邊緣智能服務(wù)的細(xì)粒度可擴(kuò)展部署，亟需新的范式。

云原生開發(fā)架構(gòu)，由最初的單體應(yīng)用時期（快速、簡單、耦合強(qiáng)），經(jīng)垂直應(yīng)用時期（隔離、穩(wěn)定、復(fù)制多）、微服務(wù)時期（隔離、穩(wěn)定、復(fù)用高），發(fā)展至當(dāng)前的Serverless時期（超輕量、高彈性、低門檻、極細(xì)粒度、復(fù)用更高）。Serverless計(jì)算作為新興的下一代云計(jì)算范式，正在迅速發(fā)展。其可以提供代碼函數(shù)片段級極細(xì)粒度的開發(fā)部署及彈性執(zhí)行能力，而無需用戶關(guān)注粗粒度細(xì)節(jié)（硬件、系統(tǒng)、運(yùn)行庫、函數(shù)級上下文環(huán)境、函數(shù)級并發(fā)等）。基于Serverless計(jì)算，實(shí)現(xiàn)面向邊緣智能應(yīng)用的細(xì)粒度容器鏡像彈性部署方案，能夠有效應(yīng)對邊緣智能應(yīng)用資源利用率低及可擴(kuò)展性差等問題。

基于Serverless邊緣云的容器鏡像彈性部署需要解決以下關(guān)鍵問題：

如何解決基于Serverless的鏡像部署及狀態(tài)依賴問題？——研究有狀態(tài)Serverless應(yīng)用的鏡像部署問題

如何解決大規(guī)模集群中源站拉取鏡像面臨帶寬瓶頸的困局？——設(shè)計(jì)基于P2P的鏡像加速分發(fā)系統(tǒng)

如何去除鏡像冗余，實(shí)現(xiàn)Serverless容器的快速啟動？——提出按需加載的容器鏡像加速策略

02

理論研究：有狀態(tài)Serverless應(yīng)用鏡像部署

目前，基于Serverless邊緣云的容器鏡像彈性部署相關(guān)研究主要集中于Serverless函數(shù)放置/調(diào)度以及Serverless函數(shù)內(nèi)存資源預(yù)測。但仍存在一定不足：（1）很少考慮Serverless函數(shù)的狀態(tài)管理；（2）未同時考慮函數(shù)依賴及復(fù)雜狀態(tài)依賴；（3）未考慮邊緣節(jié)點(diǎn)異質(zhì)資源；（4）未考慮網(wǎng)絡(luò)動態(tài)性及不確定性。因此，有狀態(tài)Serverless應(yīng)用鏡像部署研究，將重點(diǎn)聚焦在基于Serverless邊緣云的有狀態(tài)細(xì)粒度函數(shù)部署問題、Serverless應(yīng)用復(fù)雜的函數(shù)及狀態(tài)依賴關(guān)系、未來數(shù)據(jù)量及網(wǎng)絡(luò)延遲的不確定性等方面的內(nèi)容。

有狀態(tài)Serverless應(yīng)用鏡像部署的理論研究，具體包括以下幾個方面：（1）建立函數(shù)執(zhí)行延遲、成本模型，問題定義。延遲模型包括處理延遲、傳輸延遲；成本模型包括處理成本、傳輸成本、存儲成本；（2）設(shè)計(jì)面向有狀態(tài)Serverless函數(shù)的高效部署方法，包括：面向有狀態(tài)Serverless函數(shù)的啟發(fā)式算法；面向有狀態(tài)Serverless函數(shù)的基于多物最小成本流的近似算法；面向網(wǎng)絡(luò)延遲不確定的基于多臂老虎機(jī)的學(xué)習(xí)驅(qū)動算法；（3）基于Serverless邊緣云的容器鏡像彈性部署實(shí)際驗(yàn)證。由驗(yàn)證結(jié)果可知，基于Serverless邊緣云的容器鏡像彈性部署策略能極大程度上減少邊緣智能服務(wù)供應(yīng)開銷，提高服務(wù)質(zhì)量、提高用戶服務(wù)體驗(yàn)。

03

工程實(shí)踐：基于P2P的鏡像加速分發(fā)系統(tǒng)

在實(shí)際的工程應(yīng)用中，大規(guī)模集群中從源站拉取文件常常面臨帶寬限制，如何最大限度的利用集群內(nèi)網(wǎng)帶寬實(shí)現(xiàn)鏡像加速部署成為一個值得探索的問題。

基于上述問題，業(yè)界提出了基于P2P的鏡像加速文件分發(fā)系統(tǒng)——Dragonfly。Dragonfly是CNCF托管的Incubating項(xiàng)目，旨在提高大規(guī)模文件傳輸?shù)男屎退俣取Ｆ淠軌蜃畲笙薅鹊睦霉?jié)點(diǎn)之間閑置帶寬，減少回源流量。目前，該項(xiàng)目的Contributer已有100+，用戶包括Intel、ByteDance、DiDi等公司據(jù)不完全統(tǒng)計(jì)約40+，基本涵蓋國外大型互聯(lián)網(wǎng)公司。公有云支持 Google Cloud Platform(GCP)、Volcano Engine Baidu AI Cloud、Alibaba Cloud(Aliyun) 等。

Dragonfly項(xiàng)目整體架構(gòu)主要包括：

Manager：維護(hù)多個 P2P 集群 關(guān)聯(lián)關(guān)系，剔除異常節(jié)點(diǎn)，保證 P2P 集群穩(wěn)定性。并且提供用戶態(tài)管理、RBAC、動態(tài)配置等功能。

Scheduler：為當(dāng)前下載節(jié)點(diǎn)調(diào)度一組最優(yōu)的父節(jié)點(diǎn)。并且在適當(dāng)時機(jī)觸發(fā)節(jié)點(diǎn)回源做種。

Peer：客戶端提供上傳和下載功能。

Seed Peer：客戶端提供上傳和下載功能。當(dāng)集群內(nèi)任務(wù)首次下載，Scheduler會觸發(fā)Seed Peer回源。

在Dragonfly中，采取了分級異常隔離策略，可有效提高P2P集群整體的穩(wěn)定性。例如：

服務(wù)級別：（1）Scheduler, Seed Peer服務(wù)異常隔離，狀態(tài)Inactive；（2）Manager服務(wù)異常隔離，Peer使用最新Cache；（3）控制臺應(yīng)急下線異常服務(wù)。

節(jié)點(diǎn)級別：（1）節(jié)點(diǎn)間網(wǎng)絡(luò)異常，當(dāng)前節(jié)點(diǎn)隔離對端節(jié)點(diǎn)；（2）被訪問錯誤超過上限，P2P集群內(nèi)暫時隔離節(jié)點(diǎn)；（3）基于6sigma隔離當(dāng)前下載Piece速度過慢節(jié)點(diǎn)；（4）節(jié)點(diǎn)達(dá)到負(fù)載上限，P2P集群內(nèi)暫時隔離節(jié)點(diǎn)；（5）節(jié)點(diǎn)Announce狀態(tài)Inactive。

任務(wù)級別：（1）任務(wù)狀態(tài)失敗，隔離當(dāng)前節(jié)點(diǎn)任務(wù)；（2）任務(wù)下載有環(huán)，隔離當(dāng)前節(jié)點(diǎn)任務(wù)；（3）回源下載任務(wù)失敗，隔離所有已下載節(jié)點(diǎn)任務(wù)。

為了優(yōu)化Dragonfly系統(tǒng)中的Scheduler父節(jié)點(diǎn)調(diào)度策略，使其選擇更能反映父節(jié)點(diǎn)下載優(yōu)劣的特征，更適用于大規(guī)模容器鏡像部署場景，作者本人所在團(tuán)隊(duì)提出了（1）主動測量網(wǎng)絡(luò)延遲與收集并推測帶寬相結(jié)合的特征機(jī)制；（2）構(gòu)建Trainer模塊，利用探測信息和歷史數(shù)據(jù)進(jìn)行圖神經(jīng)網(wǎng)絡(luò)訓(xùn)練方案。目前，上述方案相關(guān)代碼已經(jīng)合入Dragonfly開源項(xiàng)目主線。

04

工程實(shí)踐：按需加載的容器鏡像加速

Serverless容器快速啟動對Serverless冷啟動性能至關(guān)重要，但目前容器鏡像冗余極多，啟動容器所需文件體積約占鏡像10%~30%，且邊緣計(jì)算、物聯(lián)網(wǎng)等場景，帶寬存在瓶頸（鏡像下載約占95%啟動用時）。基于該問題，業(yè)界提出了按需加載的容器鏡像加速方案，通過按需加載減少容器啟動過程的傳輸流量，快速啟動容器。

目前，該容器鏡像加速開源框架已經(jīng)成為Dragonfly的子項(xiàng)目（CNCF托管孵化中項(xiàng)目），Contributer已有100+， 用戶包括阿里云、螞蟻集團(tuán)、字節(jié)跳動、快手等公司。

容器鏡像加速開源框架的鏡像格式為：

OCIv1格式按層存儲 -----------> 文件粒度存儲

缺少文件目錄元數(shù)據(jù) ----------> 分離數(shù)據(jù)（blobs）和元數(shù)據(jù)（bootstrap）

完全加載鏡像后啟動 ----------> 僅加載元數(shù)據(jù)后啟動，快速掛載文件系統(tǒng)

容器鏡像加速開源框架的按需加載流程為：

容器發(fā)起I/O請求

檢查本地文件緩存（文件粒度）

如果未命中緩存，從遠(yuǎn)端存儲中按需加載對應(yīng)文件

返回I/O請求繼續(xù)運(yùn)行容器

在該項(xiàng)目中，作者本人所在團(tuán)隊(duì)，提出了（1）文件預(yù)取重排：算法優(yōu)化預(yù)讀取的文件列表，提升啟動速度；（2）請求碎片合并：將碎片文件合并加載，提高加載性能；（3）鏡像間文件去重：同鏡像內(nèi)層間去重、相似鏡像間去重，降低鏡像體積等優(yōu)化方案，且相關(guān)代碼已進(jìn)入項(xiàng)目主線。

05

總結(jié)展望

未來，OpenHarmony融合彈性無服務(wù)器計(jì)算成為可能：將彈性無服務(wù)器計(jì)算與OpenHarmony融合，為智能服務(wù)彈性部署與調(diào)度提供統(tǒng)一平臺與中間件，可賦能更多新興智能業(yè)務(wù)場景。此外，將OpenHarmony融合基于P2P的鏡像加速文件分發(fā)系統(tǒng)，也能夠在一定程度上克服有限回源帶寬，進(jìn)一步提高大規(guī)模文件傳輸?shù)男屎退俣取?/p>

「嘉賓材料暫不分享」

審核編輯 黃宇