近日,華為云OBS對象存儲服務OBSA-HDFS組件代碼完成了開源社區同行評審,已經正式合入Apache Hadoop社區,標志華為云存算分離大數據方案正式獲得社區認可,客戶可以通過社區獲取最新的OBSA-HDFS組件版本,快速在華為云完成大數據平臺的部署和使用。
OBSA-HDFS組件全稱為HuaweiCloud OBS Adapter for Hadoop Support,利用OBSA-HDFS,客戶可以在華為云上快速部署存算分離的Hadoop大數據平臺,無需修改代碼即可完成Spark、MapReduce、Hive、HBase等組件與華為云OBS對象存儲服務的對接,并獲得高性能的HDFS存儲。
當然,除了客戶端組件外,華為云OBS在服務端的Data Multi-Protocol功能為達成存算分離提供了技術保證。傳統的對象存儲服務不支持原生的文件協議,導致大數據場景下的rename需要通過拷貝和刪除兩個操作組合來完成,更無法對文件目錄進行修改,而拷貝操作會消耗寶貴的IO資源且時延較高。
華為云OBS的Data Multi-Protocol支持POSIX文件語義,通過對元數據結構和操作的雙重優化,可快速完成文件的rename。經過測試,在大數據場景下,對100MB文件進行rename操作,華為云OBS比傳統對象存儲性能提升10倍以上。
憑借著數量級的性能提升,華為云BigData Pro存算分離大數據解決方案使用OBS替代Hadoop的本地HDFS存儲,讓計算資源和存儲資源完全解耦,獨立擴容,讓大數據分析的性價比平均提升35%以上。更可以構建云上統一數據湖,消除數據孤島、降低數據共享難度、減少數據冗余、提升數據使用效率。
當前,華為云BigData Pro解決方案已經服務于斗魚、美圖、蘑菇街、貨拉拉和長虹等行業知名客戶。
未來,我們也將為Hadoop在公有云場景下的效率提升而持續努力。
Hadoop是Apache基金會的頂級項目,也是業界領先且使用最廣泛的分布式系統框架,用戶可以輕松地在Hadoop上開發和運行處理海量數據的應用程序。
HDFS是Hadoop實現的分布式文件系統(Hadoop Distributed File System),為海量數據提供高吞吐量、高擴展、高可靠和高容錯性的存儲。
從2006年成立以來,Hadoop改變了企業對數據的存儲、處理和分析的過程,形成了一個極其豐富的技術生態圈。
-
開源
+關注
關注
3文章
3472瀏覽量
42944 -
存儲服務
+關注
關注
0文章
20瀏覽量
5978 -
華為云
+關注
關注
3文章
2743瀏覽量
17768
發布評論請先 登錄
相關推薦
榜樣力量,智領未來——2024年度電子發燒友社區表彰
構建企業級文件管理系統,輕松搭建 Seafile 社區版云存儲解決方案

RT-Thread榮登2024開源創新榜單,躋身中國十大開源社區

時代鄰里攜手華為云 TaurusDB,打造智慧社區服務行業創新標桿
黃鶴開源社區正式發布
deepin社區落地開源生態發展合作倡議
deepin社區攜手共話開源新生代成長之路
香蕉派開源社區與矽昌通信共推BPI-Wifi5 低成本路由器開源方案
Arm加入OpenCloudOS操作系統開源社區
得瑞領新加入 OpenCloudOS 操作系統開源社區,作為成員單位參與社區共建
Redis 開源社區持續壯大,華為云為 Valkey 項目注入新的活力

評論