由大數據產業生態聯盟聯合《軟件和集成電路》雜志社、賽迪顧問股份有限公司、工信部賽迪智庫共同編制的《2020中國大數據產業生態地圖暨中國大數據產業發展白皮書》(以下簡稱《白皮書》)顯示,數據關鍵要素作用初步顯現,數據共享開放初見成效,數據治理成為關注重點;2020年,我國大數據產業規模將達到6670.2億元,增長率為23.6%。
隨著技術的演進,數據發生了巨大變化,不僅數據規模越來越大、數據種類呈現多樣性,而且人們對于數據處理的時效性,以及數據融合分析的要求也越來越高。華為云人工智能領域總裁賈永利表示,為了幫助企業從容應對數據智能時代的各種挑戰,華為云推出了智能數據湖FusionInsight,圍繞客戶在使用數據、管理數據全生命周期方面提供整體解決方案,讓企業用戶更方便、快捷地用好數據的同時,加速數字化轉型進程,釋放數據紅利。
一切為了數據
在8月31日下午舉辦的華為云TechWave大數據專題日上,華為云大數據又有新動作,GaussDB(DWS)實時數倉登場亮相。
華為云人工智能總裁賈永利發布GaussDB(DWS)實時數倉
隨著5G、人工智能、邊緣計算的興起,數據量越來越大,處理好數據、用好數據成為企業數字化轉型的一個首要目標。賈永利指出,從廣大政企客戶的需求來看,不斷增加的多樣性數據的統一處理,讓數據在處理過程中可管可控,并且可以更高效地協同不同組織變得越來越重要,而實時性處理、數據融合分析則是重中之重。
通過一站式的分析平臺,全局使用一份數據,更全面、更精準地分析數據,從海量數據中找到客戶真正想要的價值,是大數據廠商肩負的使命。華為云提出的智能數據湖解決方案正是以數據的使用和價值為核心,旨在實現數據全生命周期的高效管理。“基于開放架構的華為云智能數據湖解決方案,真正做到了基于云原生的存算分離,讓數據規模可管理、數據更好用。”賈永利如是說。
舉例來說,為了提升海量數據的實時處理能力,GaussDB(DWS)實時數倉增強了線性擴展能力,單節點每秒可以處理60萬條以上的數據;采用具有最廣泛開發者生態的數據分析語言,不管是流處理,還是實時分析,處理性能都會有數倍提升;GaussDB(DWS)的使用更簡單,減輕了程序員在開發、使用和運維等方面的工作量;GaussDB(DWS)還可以極大地節省客戶數據全生命周期管理的綜合成本。
GaussDB(DWS)實時數倉只是“冰山一角”,華為云大數據還有很多“黑科技”等待揭秘。
華為云智能數據湖的秘密
在8月26日揭曉的“2020中國大數據企業50強”榜單中,華為云大數據連續四年上榜。這是業界對華為云FusionInsight的技術創新能力和實踐應用成果的充分肯定。作為“最懂行”的大數據解決方案,華為云FusionInsight也再次引發廣泛關注。
趁熱打鐵,在華為云TechWave大數據專題日上,華為的“博士天團”重點揭秘了華為云FusionInsight的幾大核心能力——提供大集群、湖倉一體、實時數據湖等關鍵技術的MRS大數據,全局一份數據、秒級用數、T+0入湖的CarbonData數據存儲引擎,GaussDB(DWS)新一代全場景云數據倉庫和一站式云化數據運營平臺DAYU。
隨著5G、IoT新技術發展,數據規模、數據來源、業務場景將快速變化,這些變化給數據存儲、計算、分析和安全等帶來全新的挑戰和需求,大規模、多樣化的數據,需要實時、融合分析。華為云FusionInsight MRS大數據就是在不斷理解客戶場景需求,感受客戶使用痛點,積累豐富經驗,打造領先的大數據解決方案。
企業級大數據平臺FusionInsight MRS,為企業數據湖底座,堅持開放生態,長達十年以上的大數據經驗積累,是全球60多個國家與地區3000多個政企客戶的共同選擇。
FusionInsight MRS支持超2萬節點超大規模單集群管理能力,業界最佳,提供企業級多租戶能力,讓一個企業一個湖成為現實;支持企業級能力讓大數據運維無憂,擁有成熟的在線升級能力,升級過程業務零中斷,業務永遠在線,并已在金融、政府等客戶在線升級實踐,得到行業高度認可;支持數據湖事務ACID,實現企業數據實時增量入湖,讓大數據分析從T+1到T+0,讓業務創新更敏捷;支持高性能交互式查詢引擎秒級供數,實現湖倉一體,數據不出湖,直接對接BI類業務,自助分析,數據供應鏈路短,效率提升2倍以上;支持跨源跨域的數據分析,打破地域數據墻,使得企業跨域分析效率從周提升到分鐘級。
CarbonData是一個高性能EB級別分析型數據倉庫,提供面向對象存儲上EB級數據的高性能明細查詢能力、交互式查詢能力,提供流數據接入、數據實時同步和更新能力,提供對主要ETL業務的支持和加速,以及機器學習、深度學習等AI引擎,生態發展越來越完善。
CarbonData自2015年進入Apache孵化器;2016年CarbonData正式從Apache孵化器畢業,正式成為首個中國公司貢獻的Apache頂級項目;2020年重磅發布2.0里程碑版本,重新定義智能數據湖索引和事務能力。
CarbonData數據存儲引擎,面對復雜業務場景實現全局一份數據導出使用,免去數據搬遷的困擾;面對海量數據的查詢使用,針對性優化了查詢加速,可實現PB級數據30秒內響應;在時間就是金錢的信息時代,時效性的突出優勢被企業所看好,CarbonData支持數據更新,可實現數據T+0實時入湖,大大優化了傳統T+1、T+2的可見時延。
數據倉庫是企業的“中樞系統”,也是業務創新的基礎,但長久以來一直受到“擴展性、實時性、可用性、易用性”等問題的困擾。華為云GaussDB(DWS)十年磨一劍,在核心技術上實現了突破,為新一代企業級數據倉庫系統樹立了標桿。
截至目前,全球超過500家大客戶已使用GaussDB(DWS)構建自己的核心數據倉庫系統。而GaussDB(DWS)之所以能如此快速贏得大企業客戶的信任,主要得益于其“大、快、穩”的特點。
GaussDB(DWS)的“大”集中體現在,設計規模為2048節點,可支持PB級數據容量,隨著節點數增加,集群的性能和容量呈線性增長,線性比>0.9;GaussDB(DWS)導入和分析“快”如閃電,因為它采用了全并行計算架構,并支持新一代智能優化器技術、高效的算子算法、動態編譯等核心技術;因為采用多層備份、多級保護技術,GaussDB(DWS)“穩”如泰山,即使出現軟硬件故障,也能快速檢測和響應,并自動切換,確保業務持續可用。
華為云大數據產品總監楊興華表示,管好數、用好數是一個非常不容易的過程,需要跨越數據孤島、數據有序管理、系統安全管理等幾道鴻溝。為此,華為云打造了融合、開放的一站式云化數據運營平臺DAYU,協同伙伴,實現“從比特到信息”的價值發現,釋放數據之美。
在2019年發布的1.0版本基礎之上,DAYU又在架構上進行了優化,同時增強了新的特性:采用全域聯邦數據資產管理,與超過30+的數據源對接,通過河圖引擎的虛擬入湖技術,實現跨源跨域的數據發現與連接,打破數據孤島的同時,形成數據融合協同,“立而不破”;采用開放架構體系,圍繞數據使用構建端到端工具平臺,基于“黑土地”的定位,提供分層API接口供伙伴調用;建立共享型行業資產模型,采用模型驅動的理念,實現資產的一鍵注入、導出、自動化管理,數據資產化效率實現3倍提升。
楊興華強調說,統一元數據管理和安全管理是DAYU新增的最重要的特性;元數據管理是整個數據運營平臺的基礎,DAYU圍繞數據目錄、資產地圖、數據血緣,打造了進階式的數據資產管理體系,提供全域數據統一視圖,讓用戶深度“認知”數據資產;DAYU圍繞數據從權限管控、合規審計、敏感發現、隱私保護、風險管理五個方面構建了完善的安全管理能力,實現了全流程統一數據安全管理,讓用戶放心“用數”。
楊興華介紹說,DAYU推出一年多以來,其端到端全流程數據可視管理和一鍵式資產沉淀能力得到了實踐驗證,并在能源、政務、教育、園區、機場、工業制造等行業廣泛應用,使能行業數據價值釋放。
助力政企智能化升級
《白皮書》顯示,5G、AI技術的應用,以及“新基建”項目的落地,是電信行業大數據爆發式增長的關鍵。電信運營商主要面臨傳統平臺架構改造難度大、數據管理能力有待提升、共性技術研發有待突破等挑戰。
中國移動通信集團廣東有限公司(以下簡稱廣東移動)信息系統部總經理譚麗麗表示,為了更好地釋放運營商大數據的強大生產力,廣東移動基于華為云FusionInsight構建智慧中臺,并聯合政企客戶共同打造智慧電網、智慧交通、智慧港口、高清視頻應用等一系列智慧應用標桿。
廣東移動智慧中臺
早在2015年10月,廣東移動便啟動了大數據平臺建設工作,2016年建立子公司統一的大數據生態,并依托大數據平臺實現內部業務效率提升和外部用戶服務。如今,廣東移動大數據集群規模超過2500個節點,存儲容量達到80PB,覆蓋移動用戶數超1.3億,是全國運營商領域覆蓋用戶數量最多、規模最大、技術領先的大數據平臺。作為廣東移動大數據技術平臺的數字底座,華為云FusionInsight提供了Hadoop大數據處理、跨源數據處理、實時計算等服務,并通過Redis內存優化和Flink內存管理優化等技術提升大數據處理效率。
“廣東移動智慧中臺從建立之初就選擇與華為云FusionInsight合作,實現了非常多的技術創新與突破,包括自主搭建運營商數據中臺,實現無感知滾動升級,自主研發超級資源調度引擎Superior和跨集群協同技術等。”譚麗麗表示,“未來,廣東移動將與華為持續在大數據領域進行創新與探索,為各行業提供領先的大數據服務能力、完備的管控能力和創新的變現能力。”
在金融領域,華為云大數據的創新能力與支撐能力同樣得到了充分彰顯。通過大數據等新技術的應用,工商銀行經歷了從自動化到數據化、智能化、生態化的四個發展階段,實現了由傳統數據輔助決策向數據驅動決策模式的快速演進,大幅提升了工商銀行金融服務實體經濟的能力。
工商銀行軟件開發中心總經理助理劉承巖舉例說,在智能化階段,工商銀行與華為開展聯創工作,引入華為云Fusionsight和GaussDB(DWS)大數據、數倉產品,搭建自主可控的大數據云平臺,有力地支撐了工商銀行企業級數據湖、數據倉庫、集團信息庫的建設;在生態化階段,工商銀行繼續深化與華為的合作,實現了大數據云平臺與華為云Stack云基礎設施的融合,提升了大數據云平臺的高可用和彈性靈活擴展能力,全面支撐數據中臺的生態化建設,助力工商銀行數字化轉型。
工商銀行提出了“數字工行”的建設新思路。為實現這一目標,工商銀行正加快推進大數據技術平臺與華為云的融合,構建混布式容器化和存算分離架構,進一步提升大數據平臺的高可用、穩定性,以及資源的靈活擴展能力,更好滿足工商銀行“全數據存儲、全數據挖掘、全算法應用、全場景布署”的需要。
其實,華為云智能數據湖FusionInsight不僅僅成功應用于像金融、電信這樣的數字化轉型排頭兵,而且已廣泛應用于醫學、物流、互聯網、汽車、政府等領域,覆蓋全球60個國家及地區,服務著3000+客戶。
華為云FusionInsight為政企提供了全融合、智能化、云化的湖倉一體解決方案,主要包括MRS大數據、GaussDB(DWS)數據倉庫、GES圖計算、DAYU數據運營等云服務。
其中華為云FusionInsight MRS大數據、GaussDB(DWS)數據倉庫,可助力客戶構建堅實的數據底座,通過HetuEngine數據虛擬化引擎簡化用數,提高效率。DAYU數據運營平臺向下可接入日志、文本、視頻、音頻、圖片等各類型數據,基于多樣性算力與CarbonData,可實現全局一份數據的統一格式存儲;向上為伙伴開發50+數據集成開發API,攜手800+生態伙伴打造各行業應用。華為云還在全球多個地區設有OpenLab,以支撐與客戶、合作伙伴在云和大數據方面的聯合創新。
以客戶為中心,以用好和管好數據為宗旨,華為云大數據通過持續的創新與升級,為政企的數字化轉型和智能化升級鋪路。這就是華為云的大數據之道。
責任編輯:gt
-
集成電路
+關注
關注
5388文章
11561瀏覽量
362000 -
華為
+關注
關注
216文章
34470瀏覽量
251928 -
大數據
+關注
關注
64文章
8894瀏覽量
137477
發布評論請先 登錄
相關推薦
評論