色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
电子发烧友
开通电子发烧友VIP会员 尊享10大特权
海量资料免费下载
精品直播免费看
优质内容免费畅学
课程9折专享价
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

Serverless Streaming:毫秒級流式大文件處理探秘

jf_81200783 ? 來源:jf_81200783 ? 作者:jf_81200783 ? 2023-03-21 10:37 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

背景

企業應用從微服務架構向 Serverless(無服務器)架構演進,開啟了無服務器時代,面向無服務器計算領域的 Serverless 工作流也應運而生。許多 Serverless 應用程序不是由單個事件觸發的簡單函數,而是由一系列函數多個步驟組成的,而函數在不同步驟中由不同事件觸發。Serverless 工作流用于將函數編排為協調的微服務應用程序。

Serverless 工作流由于自身可編排、有狀態、持久化、可視化監控、異常處理、云服務集成等特性,適用于很多應用場景,比如:復雜度高需要抽象的業務(訂單管理,CRM 等)、業務需要自動中斷 / 恢復能力,如多個任務之間需要人工干預的場景(人工批,部署流水線等)、業務需要手動中斷 / 恢復(數據備份 / 恢復等)、需要詳細監控任務執行狀態的場景、流式處理(日志分析,圖片 / 視頻處理等)

當前大部分 Serverless Workflow 平臺更多關注控制流程的編排,忽視了工作流中數據流的編排和高效傳輸,上述場景 1-4 中,由于數據流相對簡單,所以各大平臺支持都比較好,但是對于文件轉碼等存在超大數據流的場景,當前各大平臺沒有給出很好的解決方案。華為云 FunctionGraph 函數工作流針對該場景,提出了 Serverless Streaming 的流式處理方案,支持毫秒級響應文件處理。本文將以圖片處理的場景作為例子詳細描述當前的問題以及華為云 FunctionGraph 函數工作流在面對該問題時采取的一系列實踐。

問題描述

先以一個圖片處理的場景舉例,用戶想要執行一個圖片壓縮并且加水印的任務,這個場景在典型的工作流系統中,可以用如圖一所示的方式進行處理。

poYBAGQZGFmAJUePAAF-nLGKLzs454.jpg

如上圖所示,圖片壓縮和圖片加水印的結果都是二進制文件格式,但是當前主流的 Serverless Workflow 平臺在多個步驟之間傳輸上下文都只能支持文本格式傳輸,所以圖片壓縮和加水印的結果都需要經過 BASE64 或者其他轉碼方式轉成文本進行數據流傳輸。

但是這種方案的限制和使用成本都比較高:

1、函數的 Response Body 通常有大小限制,所以這種方式無法處理超大文件。2、執行結果轉換為文本,需要消耗大量內存,內存成本比較高。

如何簡單高效的進行文件處理,業界也給出了其他解決方案,如通過云存儲進行中間結果轉儲、AWS 的 Lambda Object 文件轉換方案。下面給出了這兩個方案的優缺點分析。

方案一:中間結果通過云存儲進行轉儲

該方案如圖所示:

pYYBAGQZGFqACvBdAAFhg66oejM608.jpg

兩個步驟之間的文件流通過云存儲去傳遞,這種方案支持大文件流的傳輸,但是由于中間多了一次到云存儲的網絡傳輸,如果業務對時延要求不高,該方案問題不大,但是對于時延敏感類業務,這種多出的時延是無法接受的。另外云存儲轉儲需要額外的成本,如果調用量比較大,使用成本較高。

方案二:AWS Lambda Object

poYBAGQZGFuAXv6TAAJMDvoRo8U021.jpg

AWS 對于這種文件處理場景,提出了基于 S3 和 Lambda 的 Lambda Object 的方案,參考 [1],簡單來說,是支持為 S3 文件桶的 getObject API 提供 Access Point,AccessPoint 可以指向某一個 Lambda 函數,在函數中可以對原來的桶數據文件進行修改,比如可以將原始視頻轉碼,得到轉碼后的結果返回到客戶端。雖然解決了時延和大文件處理的問題,但是這個方案強依賴 S3 的 API,用戶無法進行流程編排,也無法通過事件觸發,不是一個真正通用的方案。

業界方案總結

簡單總結如表 1 所示,當前業界提供的各個方案或多或少存在一些局限性,沒有辦法在同時滿足低時延的情況下支持可編排的文件處理。然而低時延和可編排都是大量客戶所追求的關鍵能力,如何解決這些關鍵痛點,提升客戶體驗,成為了當前我們重點想要攻克的難題。

業界文件處理方案對比

pYYBAGQZGFyAchSOAAFCpDjQSF4823.jpg

華為云 FunctionGraph 的 Serverless Streaming 流式處理方案

針對當前業界缺少高效,可編排的文件處理方案的痛點,華為云 FunctionGraph 函數工作流提出 Serverless Streaming 的流式可編排的文件處理解決方案,步驟與步驟之間通過數據流驅動,更易于用戶理解。本章通過圖片處理的例子解釋該方案的實現機制。

如果需要驅動一個工作流執行,工作流系統需要處理兩個部分:

1、控制流:控制工作流的步驟間流轉,以及步驟對應的 Serverless 函數的執行。確保步驟與步驟之間有序執行。

2、數據流:控制整個工作流的數據流轉,通常來說上一個步驟的輸出是下一個步驟的輸入,比如上述圖片處理工作流中,圖片壓縮的結果是打水印步驟的輸入數據。

在普通的服務編排中,由于需要精準控制各個服務的執行順序,所以控制流是工作流的核心部分。然而在文件處理等流式處理場景中,對控制流的要求并不高,以上述圖片處理場景舉例,可以對大圖片進行分塊處理,圖片壓縮和加水印的任務不需要嚴格的先后順序,圖片壓縮處理完一個分塊可以直接流轉到下一個步驟,而不需要等待圖片壓縮把所有分塊處理完再開始加水印的任務。

基于上述理解,華為云 FunctionGraph 工作流的 Serverless Streaming 方案架構設計如圖所示:

poYBAGQZGF2AR8b7AAGH-Tp-tKw829.jpg

在Serverless Streaming 的流程中,弱化控制流中步驟之間的先后執行順序,允許異步同時執行,步驟與步驟之間的交互通過數據流驅動。其中數據流的控制通過 Stream Bridge 組件來實現。

同時函數 SDK 增加流式數據返回接口,用戶不需要將整個文件內容返回,而是通過 gRPC Stream 的方式將數據寫入到 Stream Bridge,Stream Bridge 用來分發數據流到下一個步驟的函數 Pod 中。

這種方式存在如下優點:

1、由于控制流的弱化,完全通過數據流來驅動流程執行,不需要再強限制步驟之間完成的先后順序,如圖片處理場景中,壓縮和加水印的步驟可以做到完全并行執行,這樣可以加速整個流程的執行速度。

2、每次請求都開辟獨立緩沖區,緩沖區限制大小,數據流僅在內網傳輸,保證整體數據傳輸的可靠性和安全性。

3、不依賴其他外部服務,使用成本低。

4、對于開發人員來講,只需要關注數據流的處理,而不需要關心數據流如何轉發,如何存儲,降低開發難度。

5、底層流式傳輸通過 gRPC 進行,整體數據傳輸效率高

在 FunctionGraph 中開發文件處理工作流 當前 FunctionGraph 已經基于上述方案支持了在函數工作流中進行數據流處理,并且將結果通過流數據的方式返回到客戶端,以構建一個圖片處理工作流舉例:

1、首先創建一個圖片壓縮的函數,其中代碼在處理返回數據通過 ctx.Write() 函數將結果以流式數據的形式返回:

poYBAGQZGF-AWixOAAFuJqw2C-s012.jpg

FunctionGraph 通過 ctx.Write() 函數提供了流式返回的能力,對開發者來說,只需要將最終結果通過流的方式返回,而不需要關注網絡傳輸的細節。

2、在函數控制臺中啟用該函數的流式返回能力

pYYBAGQZGGCAOhwVAABbay3eEY4320.jpg

3、用上面的方式完成其他函數的編寫,最后在 FunctionGraph 的函數流控制臺完成工作流編排,舉例如下:

poYBAGQZGGCAO4YkAAEwLFMWZ4Y016.jpg

4、調用工作流的同步執行接口,獲取最終結果的文件流,數據將以 chunked 流式返回的方式返回到客戶端

使用效果

針對圖片處理的具體場景,我們測試對比了不同大小圖片(333k、1m、4m、7m、10m、12m)進行圖片切割和圖片壓縮的場景,由于 BASE64 轉碼方案無法支持大文件,AWS Lambda Object 方案無法支持編排,所以這里只對比使用 OBS 轉儲方案和基于流式返回的 Servlerss Streaming 方案的時延數據。具體對比數據圖表如下:

pYYBAGQZGGGANuDZAAApZjT-rtA741.jpg

響應時延:指客戶端發出請求到收到第一個字節消耗的時延(單位:秒)

端到端時延:指客戶端發出請求到收到最后一個字節消耗的時延(單位:秒)

從測試數據可以看出,響應時延和端到端時延使用流式返回方案后都得到了不同程度的降低。其中響應時延降低幅度較大,OBS 轉儲方案響應時延隨著圖片大小增大,響應時延呈線性上升,超過 4M 的圖片響應時延就達到秒級,使用流式返回方案后,響應時延持續穩定在毫秒級的水平。從中可以發現,基于 Serverless Streaming 的流式返回方案不僅具備流式處理和可編排的能力,并且在文件處理場景中可以顯著降低時延,從多個方面提升了用戶使用體驗。

總結與展望

主要討論了 Serverless Workflow 在大文件處理時碰到的問題,FunctionGraph 通過簡化數據傳輸鏈路,提升文件流處理效率, 給出了一種穩定高效、極低時延的大文件處理方法 Serverless Streaming,支持毫秒級的文件流式處理, 顯著改善函數編排在文件處理等場景中的用戶體驗。

FunctionGraph 作為華為元戎加持的下一代 Serverless 函數計算與編排服務,將圍繞通用全場景 Serverless 的前沿理論及案例實踐,持續分享。

審核編輯黃宇

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 流式
    +關注

    關注

    0

    文章

    3

    瀏覽量

    5413
  • serverless
    +關注

    關注

    0

    文章

    65

    瀏覽量

    4711
收藏 0人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    安科瑞ASCP限流式保護器筑牢充電樁毫秒安全防線

    安科瑞 劉芳 咨詢家:acrel-js 政策要求 限流式保護器能氣什么作用 限流式保護器是兼具短路限流、過載保護與電弧抑止功能的電氣安全裝置,核心作用是在 1 毫秒內快速切斷故障電流,防止電氣火災
    的頭像 發表于 06-19 14:13 ?216次閱讀
    安科瑞ASCP限<b class='flag-5'>流式</b>保護器筑牢充電樁<b class='flag-5'>毫秒</b><b class='flag-5'>級</b>安全防線

    主流版本控制工具Git vs Perforce P4:架構模式、性能、大文件管理及分支管理對比詳解

    Git vs Perforce P4,如何選型?架構模式、性能、大文件管理、分支策略四大維度對比,幫你全面了解兩者的核心差異,選擇更合適你團隊需求的版本控制系統。
    的頭像 發表于 06-13 14:52 ?192次閱讀
    主流版本控制工具Git vs Perforce P4:架構模式、性能、<b class='flag-5'>大文件</b>管理及分支管理對比詳解

    HarmonyOS5云服務技術分享--Serverless抽獎模板部署

    提前準備一個二域名(后面托管要用) 二、部署模板四部曲 1?? ??模板選擇?? 進入AGC控制臺 → 云開發 → Serverless模板 在模板市場找到\"抽獎活動模板\"
    發表于 05-22 20:25

    HarmonyOS5云服務技術分享--Serverless搭建抽獎

    ?【實戰指南】手把手教你用華為AGC Serverless模板快速搭建抽獎活動? 嗨各位開發者小伙伴!今天給大家分享一個超實用的技巧——用華為應用市場AGC的Serverless模板三分鐘搞定抽獎
    發表于 05-22 20:20

    智能電網第6期 毫秒時延如何實現?電力設備狀態實時監控優化

    隨著新型電力系統建設加速推進,電力設備狀態監控對通信時延的要求已提升至毫秒。在變電站自動化、輸電線路監測等場景中,傳統通信方案面臨嚴峻挑戰: ? 時延瓶頸:保護控制類業務要求端到端時延 可靠性挑戰
    的頭像 發表于 04-25 09:40 ?195次閱讀
    智能電網第6期 <b class='flag-5'>毫秒</b><b class='flag-5'>級</b>時延如何實現?電力設備狀態實時監控優化

    鴻蒙文件傳輸三方庫上線開源鴻蒙社區 十行代碼實現大文件高速傳輸

    近日,華為在OpenHarmony社區上線了“super_fast_file_trans”文件傳輸三方庫(以下簡稱“SFFT”)。這一三方庫的推出,為開發者提供了一套支持大文件多線程并發分塊下載
    發表于 03-06 10:29

    探秘新能源行業利器:多串保護板測試儀的革新應用

    探秘新能源行業利器:多串保護板測試儀的革新應用
    的頭像 發表于 03-05 15:09 ?419次閱讀

    求助,請問DLP3010evm的External pattern streaming mode如何使用?

    關于DLP3010的External pattern streaming mode,有如下幾個問題想請教: 1.能否通31010EVM底板上的HDMI接口向DLP發送2D圖片?IT6801解碼格式
    發表于 02-27 07:39

    如何使用SFTP傳輸大文件

    在當今的數字化時代,大文件傳輸變得越來越常見。無論是企業數據遷移、遠程備份還是內容分發,都需要一種既安全又高效的文件傳輸方式。SFTP作為一種基于SSH的文件傳輸協議,提供了一種加密的傳輸方式,確保
    的頭像 發表于 11-13 14:11 ?1838次閱讀

    請問PurePath Studio有定時器控件嗎?用AIC3254如何實現毫秒的定時?

    PurePath Studio有定時器控件嗎?用AIC3254如何實現毫秒的定時?
    發表于 10-25 07:26

    華為云全域 Serverless 8 月更新盤點

    【摘要】 近年來,華為云持續構筑全域 Serverless 云服務,推出了一系列競爭力領先的 Serverless 產品,包括函數工作流 FunctionGraph、Serverless 容器引擎
    的頭像 發表于 09-27 00:06 ?1168次閱讀
    華為云全域 <b class='flag-5'>Serverless</b> 8 月更新盤點

    流式滑動變阻器的選型原則

    流式滑動變阻器,又稱為限流電阻器或限流電位器,是一種用于限制電路中電流大小的電子元件。在電子電路設計中,選擇合適的限流式滑動變阻器對于確保電路的穩定運行和提高電路性能至關重要。 一、限流式滑動
    的頭像 發表于 08-05 14:31 ?1700次閱讀

    探秘LED顯示屏背后的秘密:數字信號與數字電路的奇妙世界

    探秘LED顯示屏背后的秘密:數字信號與數字電路的奇妙世界
    的頭像 發表于 08-02 02:36 ?796次閱讀

    如何修改buildroot和debian文件系統

    本文檔主要介紹在沒有編譯環境的情況下,如何修改buildroot和debian文件系統方法,如在buildroot文件系統中添加文件、修改目錄等文件操作,在debian
    的頭像 發表于 07-22 17:46 ?869次閱讀
    如何修改buildroot和debian<b class='flag-5'>文件</b>系統

    全球銷量領先車企基于 Serverless 服務構建數據實時處理的千萬車聯網業務

    PaaS 產品部海外產品總監肖振華 在?“A?Leading?Global?Automaker's?Serverless?Approach?to?Real-Time?IoV?Data
    的頭像 發表于 07-11 21:04 ?3.4w次閱讀
    全球銷量領先車企基于 <b class='flag-5'>Serverless</b> 服務構建數據實時<b class='flag-5'>處理</b>的千萬<b class='flag-5'>級</b>車聯網業務
    主站蜘蛛池模板: 色欲AV亚洲永久无码精品麻豆 | 精品国内自产拍在线观看视频 | 国产AV国片精品无套内谢无码 | 精品AV无码一二三区视频 | 欧美高清一区二区三 | 精品久久久久久久国产潘金莲 | 最近更新2019中文字幕国语 | 欧美18精品久久久无码午夜福利 | 69人体阴展网| 大地影院日本韩国电影免费观看 | 亚洲精品无码久久久久A片空 | 国产亚洲中文字幕视频 | 九九热久久只有精品2 | 亚瑟天堂久久一区二区影院 | 国产AV亚洲精品久久久久软件 | 中文字幕不卡在线高清 | 日韩av片无码一区二区不卡电影 | 秋霞电影网伦大理电影在线观看 | 亚洲国产在线视频中文字 | 久久国产高清字幕中文 | 轻轻挺进女教师的身体 | 精品国产高清自在线看 | 国产午夜一级淫片 | 亚洲国产夜色在线观看 | 99久久国产极品蜜臀AV酒店 | 久久久免费观成人影院 | 国产学生在线播放精品视频 | 小SB几天没做SAO死了H | 精精国产www视频在线观看免费 | 久久国内精品 | 伊人久久大香线蕉综合色啪 | 国产中的精品AV一区二区 | 91国在线视频| 国产高清在线观看 | 年轻的女教师2017韩国在线看 | 亚洲国产成人久久精品影视 | JAVASCRIPTJAVA水多多 | 日本午夜精品久久久无码 | 亚洲AV精品无码国产一区 | 男女午夜性爽快免费视频不卡 | 久久热这里只有 精品 |

    電子發燒友

    中國電子工程師最喜歡的網站

    • 2931785位工程師會員交流學習
    • 獲取您個性化的科技前沿技術信息
    • 參加活動獲取豐厚的禮品