2020年初中國聯(lián)通發(fā)布公告，基于華為Kunpeng大數(shù)據(jù)存算分離方案，中國聯(lián)通集團聯(lián)合華為技術有限公司共同完成了大數(shù)據(jù)計算存儲分離架構的規(guī)模化技術創(chuàng)新。中國聯(lián)通將上線超過100臺Kunpeng大數(shù)據(jù)存儲節(jié)點，計算存儲分離架構已經成為運營商大數(shù)據(jù)平臺創(chuàng)新的利器。該方案將為運營商大數(shù)據(jù)創(chuàng)新帶來巨大價值：

運營商大數(shù)據(jù)平臺降本增效需求凸顯

作為數(shù)字化轉型的先行者，運營商利用大數(shù)據(jù)平臺進行經營分析、網(wǎng)絡優(yōu)化、流量清單、日志留存等業(yè)務。這些大數(shù)據(jù)平臺在運營商業(yè)務中發(fā)揮著至關重要的作用，但龐大的數(shù)據(jù)量也給用戶帶來了新的挑戰(zhàn)。為應對挑戰(zhàn)，運營商在大數(shù)據(jù)平臺的建設和擴容方面每年都保持著規(guī)模投入（是否可以提供金額數(shù)字支撐？如金額較小就不寫了），隨之而來的降本與增效矛盾越發(fā)突出：

傳統(tǒng)大數(shù)據(jù)平臺計算存儲等比例擴容，無法精準投資

當前運營商大數(shù)據(jù)平臺基于傳統(tǒng)存算一體架構獨立建設。但不同業(yè)務對大數(shù)據(jù)平臺計算和存儲的資源要求差異較大，如網(wǎng)優(yōu)類業(yè)務是計算密集型的業(yè)務，CPU利用率長期維持在90%以上，存儲水位線往往低于20%；而日志留存和流量清單則是存儲密集型的業(yè)務，以點查為主，CPU平均利用率不足30%，存儲水位線卻已經在70%以上，經常需要被動刪除數(shù)據(jù)釋放存儲空間。傳統(tǒng)的計算存儲等比例擴容，會造成計算或存儲資源的浪費。

傳統(tǒng)大數(shù)據(jù)平臺多副本機制，占用大量機房空間

傳統(tǒng)大數(shù)據(jù)平臺使用多副本方式進行數(shù)據(jù)保護，常見的存儲利用率僅為33%（2副本為50%）。運營商的日志留存業(yè)務，每千萬用戶就會產生約6PB的數(shù)據(jù)。隨著5G、IoT等業(yè)務興起，當前正以每年約40%的速度在快速增長。10PB的數(shù)據(jù)量，以多副本方式存儲，就需要數(shù)百臺服務器，占用大量的機房空間，同時帶來供電、制冷等一系列的維護成本增加。

傳統(tǒng)大數(shù)據(jù)平臺計算存儲緊耦合，資源調度不靈活

運營商大數(shù)據(jù)已經應用到各個業(yè)務系統(tǒng)，形成了很多獨立的大數(shù)據(jù)集群。基于大數(shù)據(jù)海量的數(shù)據(jù)存儲和計算需求，傳統(tǒng)做法是獨立建設大數(shù)據(jù)集群，避免和實時業(yè)務搶占計算資源。但大數(shù)據(jù)集群業(yè)務峰值和實時業(yè)務有明顯差異，比如經營分析系統(tǒng)，業(yè)務高峰期是在22:00-06:00，而計費等實時業(yè)務系統(tǒng)業(yè)務高峰期是在06:00-22:00。由于計算和存儲融合，傳統(tǒng)大數(shù)據(jù)平臺無法在不同業(yè)務系統(tǒng)間靈活調度計算資源，浪費寶貴的算力。同時，一旦出現(xiàn)緊急需求，傳統(tǒng)大數(shù)據(jù)系統(tǒng)的改造時間往往需要按周計，嚴重影響業(yè)務上線時間。

在運營商提速降費的大背景下，這些問題變得尤為突出，降本增效，讓每一分錢用在 “刀刃”上，日益成為運營商客戶的核心訴求。

華為Kunpeng大數(shù)據(jù)存算分離方案成為降本增效的良藥

面臨這些挑戰(zhàn)，三大運營商不約而同的選擇了大數(shù)據(jù)存算分離方案，并攜手華為，選擇華為OceanStor大數(shù)據(jù)存算分離方案作為解決之道：

彈性EC，存儲利用率大幅提升

華為大數(shù)據(jù)存儲使用彈性EC替代傳統(tǒng)HDFS的多副本，存儲利用率提升了1.75倍，同時保證性能、可靠性和多副本相當，并能夠大幅降低日志留存、流量清單這類存儲密集型業(yè)務的機房空間占用，節(jié)省大量的供電、制冷費用，成本節(jié)約效果顯著。

依托華為Kunpeng多核算力，大幅提升數(shù)據(jù)存儲性能

華為大數(shù)據(jù)存儲采用Kunpeng多核架構的處理器，基于多核架構做深度優(yōu)化，如EC、壓縮等算法卸載到Kunpeng芯片上執(zhí)行，保證業(yè)務性能穩(wěn)定；基于多核架構，優(yōu)化進程并發(fā)度，充分發(fā)揮多核的性能，也是華為大數(shù)據(jù)存儲采用EC性能、保持可靠性的核心所在。

計算、存儲資源池化，靈活按需調度

采用華為大數(shù)據(jù)存算分離方案，計算集群和存儲集群可以分別云化，實現(xiàn)資源的按需調度。既解決了不同大數(shù)據(jù)集群間計算、存儲資源利用率不均的問題，又使得大數(shù)據(jù)計算節(jié)點可以和用戶的其他計算節(jié)點能夠按業(yè)務峰谷靈活調配，一舉兩得。

全分布式架構，單NameSpace支持百億文件

傳統(tǒng)大數(shù)據(jù)平臺的主備NameNode架構，長期存在當單個NameSpace文件數(shù)超過1.5億后，性能大幅衰減的問題，甚至會導致NameNode崩潰。此時，客戶就需要拆分業(yè)務到多個NameSpace或手動刪除業(yè)務，限制了大數(shù)據(jù)集群的擴展。華為大數(shù)據(jù)存儲采用全分布式的NameNode架構，每個物理節(jié)點既是存儲節(jié)點，也是元數(shù)據(jù)管理節(jié)點，性能隨著節(jié)點數(shù)增加線性擴展，單個NameSpace可支持百億文件，幫助大數(shù)據(jù)平臺從容應對5G時代海量數(shù)據(jù)存儲需求。

原生HDFS，新老共存，保護投資

華為的存算分離方案可提供原生HDFS接口，用戶應用不需要任何修改就可以直接使用；還針對不同大數(shù)據(jù)組件的要求，該方案提供了多種擴容方案，實現(xiàn)本地HDFS新老共存，保護用戶投資的同時，降低了數(shù)據(jù)遷移的難度，消除用戶的后顧之憂。

5G和AI的時代已經到來，大數(shù)據(jù)在千行百業(yè)中正發(fā)揮著越來越重要的作用。基于此次的Kunpeng大數(shù)據(jù)存算分離創(chuàng)新成果，華為將在Kunpeng生態(tài)領域，與中國聯(lián)通持續(xù)深入合作，實現(xiàn)更多技術創(chuàng)新和關鍵應用成果落地，支撐客戶創(chuàng)造更多價值。

責任編輯：gt