圖:華中科技大學(xué)計算機科學(xué)與技術(shù)學(xué)院院長 馮丹
4月20日,在中國深圳舉辦的華為分析師大會分論壇上,長江學(xué)者特聘教授、華中科技大學(xué)計算機科學(xué)與技術(shù)學(xué)院院長馮丹對數(shù)據(jù)中心Diskless架構(gòu)及近數(shù)據(jù)處理發(fā)展趨勢做出了權(quán)威解讀。
馮丹指出,傳統(tǒng)存算融合架構(gòu)下,企業(yè)通常采用應(yīng)用與本地盤耦合的服務(wù)器一體化架構(gòu),存在存力效率低、無效數(shù)據(jù)遷移、資源浪費等典型問題。表現(xiàn)為:一、數(shù)據(jù)從盤到計算域CPU,需要8次以上數(shù)據(jù)搬遷,無效搬遷帶來了網(wǎng)絡(luò)和算力資源的浪費;二、在存算融合的上千節(jié)點大規(guī)模集群中,算力、容量空間配比無法均衡,擴容時需要額外遷移數(shù)據(jù),不僅帶來現(xiàn)有業(yè)務(wù)風(fēng)險,還會浪費投資;三、數(shù)據(jù)爆發(fā)增長,面向結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)縮減策略不完全適用于非結(jié)構(gòu)化場景。
國際調(diào)研機構(gòu)IDC的數(shù)據(jù)顯示,2025年數(shù)據(jù)量將達到175ZB,積累的數(shù)據(jù)量90%主要來自于近兩年,大部分?jǐn)?shù)據(jù)來自金融、基因、分子、動力、IoT等等,從結(jié)構(gòu)化到非結(jié)構(gòu)化大量數(shù)據(jù)的產(chǎn)生,使得對容量、成本的壓力越來越大。但是傳統(tǒng)的面向結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)壓縮方法,可以使壓縮比達到3:1,但是對于非結(jié)構(gòu)化數(shù)據(jù),壓縮比小于2,甚至是無效的。如何在存儲域?qū)崿F(xiàn)對于用戶來說,透明的、高效、自適應(yīng)的數(shù)據(jù)縮減算法也成為一個難題。
隨著算力多樣化、高性能網(wǎng)絡(luò)和存儲介質(zhì)的發(fā)展,數(shù)據(jù)中心架構(gòu)從以CPU中心朝著以數(shù)據(jù)為中心的Diskless架構(gòu)演進。Diskless架構(gòu)下,單一CPU算力發(fā)展到GPU、DPU、XPU等多樣算力,算力效率得以充分發(fā)揮;網(wǎng)絡(luò)從IP、NOF發(fā)展到高通量的CXL,為算力和存力等硬件解耦奠定了基礎(chǔ);存力也從傳統(tǒng)HDD到SSD,性能、功耗實現(xiàn)全面提升。在Intel、華為、KIOXIA、阿里云等業(yè)界芯片、存儲、云和互聯(lián)網(wǎng)廠商的積極推進下,Diskless架構(gòu)借助專用DPU/IPU等數(shù)據(jù)處理芯片和OceanDisk等專用存儲模塊,進一步提升數(shù)據(jù)處理和存儲的效能,充分調(diào)動數(shù)據(jù)中心資源。
馮丹教授表示,資源池化共享的Diskless架構(gòu)應(yīng)具備以下關(guān)鍵技術(shù):
1、網(wǎng)存協(xié)同,DPU硬件卸載加速,數(shù)據(jù)高效協(xié)同處理。通過DPU等專有數(shù)據(jù)處理模塊,使服務(wù)器CPU全為應(yīng)用服務(wù),基礎(chǔ)設(shè)施與應(yīng)用任務(wù)解耦,將VirtIO、NVMe-oF等CPU計算效率低任務(wù)轉(zhuǎn)移到DPU的專用加速器執(zhí)行,實現(xiàn)資源彈性擴展。
2、數(shù)控分離+IO直通,實現(xiàn)控制流與IO流分離,IO直通到存儲介質(zhì),進一步提升存儲效率。通過數(shù)控分離,可達到極致IO訪問時延,通過存儲域IO讀寫數(shù)據(jù)流與IO控制處理的分離,使得讀寫IO直通到存儲介質(zhì)中,減少IO處理路徑,降低處理復(fù)雜度,極大提升存儲域訪問性能。計算域則可以借助DPUbypassCPU,減少數(shù)據(jù)拷貝開銷,提升IO訪問性能。
3、盤控協(xié)同,盤芯片與控制器芯片配合,提升集成度,達到最佳成本和能耗。盤控協(xié)同技術(shù)的關(guān)鍵是要實現(xiàn)高性能、低成本的大盤,通過硬件對盤控系統(tǒng)內(nèi)的算法進行加速,比如利用FPGA實現(xiàn)FTL/DIF/在線壓縮/加密/EC/GC等硬化,提升性能;盤內(nèi)和框內(nèi)的各類驅(qū)動和緩存層合一,實現(xiàn)盤框一體,構(gòu)建極致成本和能耗的大盤存儲。
4、算子卸載,EC、數(shù)據(jù)縮減等算法通過硬件卸載到存儲端,實現(xiàn)近數(shù)據(jù)處理。通過計算語義的卸載,存儲直出語義接口,主機側(cè)軟件棧打薄,減少80%的IO交互次數(shù),實現(xiàn)對整系統(tǒng)
的CPU和網(wǎng)絡(luò)帶寬節(jié)省。同時,在大數(shù)據(jù)/數(shù)據(jù)倉庫場景,可以利用引擎的下推接口,下推謂詞和投影等運算操作到存儲資源池,減少無效數(shù)據(jù)的搬移。
華為去年發(fā)布的OceanDisk智能盤框產(chǎn)品,是一個標(biāo)準(zhǔn)的大存力新型盤框產(chǎn)品。OceanDisk通過NoF+高速網(wǎng)絡(luò)連接Diskless服務(wù)器,實現(xiàn)計算和存儲獨立彈性擴展,幫助客戶提高資源利用率,機柜空間和設(shè)備功耗分別降低40%;內(nèi)置FlashLink?智能盤框協(xié)同算法等軟硬結(jié)合技術(shù),帶來最大250萬IOPS,50GB/s帶寬的高性能;依托華為多年存儲研發(fā)實力,OceanDisk智能盤框提供硬盤亞健康管理、智能慢盤優(yōu)化等技術(shù),保持大規(guī)模數(shù)據(jù)中心10萬級硬盤的性能穩(wěn)定,大幅降低運維難度。OceanDisk作為業(yè)界首個面向Diskless架構(gòu)的新型盤框,將以高性能、高可靠、綠色集約重新定義下一代云和互聯(lián)網(wǎng)數(shù)據(jù)中心存儲架構(gòu)。
馮丹教授表示:“從技術(shù)趨勢來看,高性能異構(gòu)算力、高速網(wǎng)絡(luò)、大存力新型盤框、算子卸載等技術(shù)的發(fā)展,帶來了數(shù)據(jù)中心架構(gòu)的變革,加速了以CPU為中心的耦合架構(gòu)走向徹底存算分離、資源池化共享的以數(shù)據(jù)為中心的Diskless架構(gòu),這種架構(gòu)進一步簡化了數(shù)據(jù)中心基礎(chǔ)設(shè)施構(gòu)建,能夠?qū)崿F(xiàn)存力和算力資源的集約高效發(fā)展,已經(jīng)成為大規(guī)模數(shù)據(jù)中心發(fā)展的重要技術(shù)趨勢。”
本文由電子發(fā)燒友原創(chuàng),轉(zhuǎn)載請注明以上來源。微信號zy1052625525。需入群交流,請?zhí)砑游⑿舉lecfans999,投稿爆料采訪需求,請發(fā)郵箱zhangying@elecfans.com。
-
華為
+關(guān)注
關(guān)注
216文章
34476瀏覽量
252114 -
intel
+關(guān)注
關(guān)注
19文章
3483瀏覽量
186109 -
數(shù)據(jù)中心
+關(guān)注
關(guān)注
16文章
4806瀏覽量
72209
發(fā)布評論請先 登錄
相關(guān)推薦
評論