資料介紹
針對Storm流式計算平臺中默認輪詢調度策略存在通信開銷大、負載不均衡的問題,提出基于拓撲結構的任務調度策略( TS2)。首先,選取CPU資源充足且可用的工作節點并各分配一個進程,消除節點內進程間通信開銷,優化進程部署;然后,分析拓撲結構,找出拓撲中度最大的組件,優先分配該組件的線程;最后,在滿足節點可承載最大線程數的條件下,盡可能將關聯任務部署到同一個節點來減少節點間通信開銷,改善集群負載均衡,優化線程部署。實驗結果表明:在系統延遲方面,與Storm默認調度策略和離線調度策略相比,TS的平均優化率分別為16. 91%和5. 69%,有效提高了系統的實時性;在節點間通信開銷方面,TS相比于Storm默認調度策略平均降低了15. 75%;在平均吞吐量方面,TS相比于Storm默認調度策略平均提升了14. 21%。
隨著互聯網+時代來臨,全球數據量急劇增長。國際數據公司( International Data Corporation,IDC)發布的白皮書《數據時代2025》中提出,預計到2025年全球數據量將達到163ZB,其中超過25%的數據將成為實時數據,而物聯網實時數據將占到95%[1],面對如此龐大的實時數據量,需要時效性高、可擴展性和穩定性強的流式計算框架。與批量計算不同,流式計算不再對數據的中間結果進行存儲,數據直接在各個工作節點的內存中進行計算。在這種應用場景下,以Twitter公司的Storm系統為代表的幾種實時計算框架應運而生,也將流式計算的應用范圍逐漸擴展到物聯網、金融、社交媒體以及實時交通等實時性要求高的領域‘糾。其中在Storm環境下,針對套牌車識別具有時效性約束的問題,相關學者提出了一種基于實時車牌識別的流式并行檢測方法,并且該方法的準確率達到了98.7%_3],實時獲取車輛的動態信息已經成為可能。
- 異構環境下的多DAG任務調度算法綜述 13次下載
- 云環境下HEDSM工作流調度策略綜述 6次下載
- 異構云環境中二級實時密碼服務調度策略 9次下載
- 可反映用戶偏好的多目標任務調度算法 3次下載
- EDA多任務流調度算法實驗設計 5次下載
- 如何在云計算環境下進行資源調度算法的研究 4次下載
- 數據庫概念結構和邏輯與物理結構如何進行設計 17次下載
- MapReduce節能任務調度策略 0次下載
- 云環境下基于聚簇的執行優化策略 0次下載
- 一種新的調度策略優化Spark在異構集群下表現 0次下載
- 云計算環境中任務調度應用 3次下載
- 基于Qos綜合滿意度的云計算任務調度策略 0次下載
- 網格任務調度算法研究
- VxWorks下周期任務調度和任務周期選擇
- 樹型網格計算環境下的自適應任務調度算法
- 如何進行RF PA Ruggedness的測試和評估呢? 1519次閱讀
- 什么是計算機網絡的拓撲結構?主要的拓撲結構有哪些? 1288次閱讀
- 網絡拓撲結構有哪幾種類型 網絡拓撲結構優缺點 994次閱讀
- 拓撲視圖與實際拓撲結構間的差異 887次閱讀
- RTOS應用中的調度策略 539次閱讀
- Apache Storm的安裝部署 859次閱讀
- Apache Storm是什么 1009次閱讀
- 任務調度開源代碼是什么 788次閱讀
- 嵌入式軟件架構設計之任務調度 1994次閱讀
- FreeRTOS任務和協程簡介及實現 2765次閱讀
- 在Allegro中如何進行skill的安裝 3909次閱讀
- 鴻蒙內核源碼的中斷環境下的任務切換 2170次閱讀
- 鴻蒙內核分析:線程中斷環境下的任務切換 2498次閱讀
- 總線型拓撲結構優缺點是什么 2.4w次閱讀
- 什么是電路拓撲結構_多種pfc電路的拓撲結構介紹 5.1w次閱讀
下載排行
本周
- 1TC358743XBG評估板參考手冊
- 1.36 MB | 330次下載 | 免費
- 2開關電源基礎知識
- 5.73 MB | 11次下載 | 免費
- 3嵌入式linux-聊天程序設計
- 0.60 MB | 3次下載 | 免費
- 4DIY動手組裝LED電子顯示屏
- 0.98 MB | 3次下載 | 免費
- 5基于FPGA的C8051F單片機開發板設計
- 0.70 MB | 2次下載 | 免費
- 651單片機窗簾控制器仿真程序
- 1.93 MB | 2次下載 | 免費
- 751單片機大棚環境控制器仿真程序
- 1.10 MB | 2次下載 | 免費
- 8基于51單片機的RGB調色燈程序仿真
- 0.86 MB | 2次下載 | 免費
本月
- 1OrCAD10.5下載OrCAD10.5中文版軟件
- 0.00 MB | 234315次下載 | 免費
- 2555集成電路應用800例(新編版)
- 0.00 MB | 33566次下載 | 免費
- 3接口電路圖大全
- 未知 | 30323次下載 | 免費
- 4開關電源設計實例指南
- 未知 | 21549次下載 | 免費
- 5電氣工程師手冊免費下載(新編第二版pdf電子書)
- 0.00 MB | 15349次下載 | 免費
- 6數字電路基礎pdf(下載)
- 未知 | 13750次下載 | 免費
- 7電子制作實例集錦 下載
- 未知 | 8113次下載 | 免費
- 8《LED驅動電路設計》 溫德爾著
- 0.00 MB | 6656次下載 | 免費
總榜
- 1matlab軟件下載入口
- 未知 | 935054次下載 | 免費
- 2protel99se軟件下載(可英文版轉中文版)
- 78.1 MB | 537798次下載 | 免費
- 3MATLAB 7.1 下載 (含軟件介紹)
- 未知 | 420027次下載 | 免費
- 4OrCAD10.5下載OrCAD10.5中文版軟件
- 0.00 MB | 234315次下載 | 免費
- 5Altium DXP2002下載入口
- 未知 | 233046次下載 | 免費
- 6電路仿真軟件multisim 10.0免費下載
- 340992 | 191186次下載 | 免費
- 7十天學會AVR單片機與C語言視頻教程 下載
- 158M | 183279次下載 | 免費
- 8proe5.0野火版下載(中文版免費下載)
- 未知 | 138040次下載 | 免費
評論
查看更多