人類以日新月異的速度刷新著科技的成果,其中存儲(chǔ)的發(fā)展歷史尤其悠久,堪稱萬(wàn)年進(jìn)化史。自文明誕生以來(lái),我們就一直在尋求能夠更有效存儲(chǔ)信息的方式,從4萬(wàn)年前的洞穴壁畫、6000年前泥板上的楔形文字,到今天普及的SSD/閃存,再到對(duì)量子存儲(chǔ)、DNA存儲(chǔ)技術(shù)的探索,腳步從未停止。
大數(shù)據(jù)時(shí)代下云存儲(chǔ)得到了飛速發(fā)展,其成熟過(guò)程始終貫穿著“應(yīng)用的需求”與“技術(shù)發(fā)展的推動(dòng)”這兩條主線。以硬核實(shí)力賦能企業(yè)已成為各廠商競(jìng)爭(zhēng)的焦點(diǎn),而在此過(guò)程中,存儲(chǔ)領(lǐng)域更成為決定下一代信息技術(shù)成敗的戰(zhàn)略性新興產(chǎn)業(yè)。本期《問底中國(guó)IT技術(shù)演變》,我們有幸采訪到阿里云研究員、存儲(chǔ)業(yè)務(wù)負(fù)責(zé)人吳結(jié)生博士,就云計(jì)算時(shí)代存儲(chǔ)技術(shù)的發(fā)展路徑,以及阿里云智能在存儲(chǔ)領(lǐng)域的產(chǎn)品矩陣、技術(shù)迭代以及未來(lái)趨勢(shì)等方面,解剖阿里云的存儲(chǔ)技術(shù)演進(jìn)過(guò)程,籍此探析整個(gè)行業(yè)的發(fā)展趨勢(shì)。
存儲(chǔ)演進(jìn)30年 新一代存儲(chǔ)需滿足五大變化
為了滿足企業(yè)針對(duì)不同業(yè)務(wù)的多樣需求,現(xiàn)代存儲(chǔ)行業(yè)歷經(jīng)30多年的發(fā)展,迭代出多種存儲(chǔ)產(chǎn)品。例如為解決早期數(shù)據(jù)增長(zhǎng)而出現(xiàn)的DAS和SAN,為解決核心應(yīng)用高穩(wěn)定性和高性能而出現(xiàn)的高端存儲(chǔ),為處理非結(jié)構(gòu)化數(shù)據(jù)而產(chǎn)生的NAS和對(duì)象存儲(chǔ),為滿足彈性部署而衍生出來(lái)的軟件定義存儲(chǔ)……
為了更清晰地探究出云計(jì)算時(shí)代存儲(chǔ)技術(shù)的發(fā)展路徑以及所應(yīng)對(duì)的挑戰(zhàn),阿里云存儲(chǔ)業(yè)務(wù)負(fù)責(zé)人吳結(jié)生,根據(jù)阿里云在存儲(chǔ)領(lǐng)域的發(fā)展經(jīng)驗(yàn),為我們梳理出存儲(chǔ)技術(shù)的發(fā)展與應(yīng)用方向:
第一,存儲(chǔ)與計(jì)算的分離。隨著數(shù)據(jù)處理對(duì)存儲(chǔ)需求和計(jì)算需求在規(guī)模、速度、容量和成本等維度的不斷變化,計(jì)算與存儲(chǔ)分離可以最大限度地解耦這兩類不同的關(guān)鍵資源,使得各自相對(duì)獨(dú)立地?cái)U(kuò)展和演進(jìn)。首先,通過(guò)解耦,計(jì)算與存儲(chǔ)這兩方面可以在云數(shù)據(jù)中心分別獨(dú)立擴(kuò)展,提供調(diào)度和資源共享的靈活性,提高資源使用效率,降低成本。其次,計(jì)算和存儲(chǔ)的技術(shù)演進(jìn)空間變大,可以更加靈活的針對(duì)不同的負(fù)載進(jìn)行優(yōu)化。再次,網(wǎng)絡(luò)技術(shù)的高速發(fā)展、個(gè)位數(shù)微秒的延時(shí)(latency)、百G級(jí)別的帶寬、服務(wù)器之間的邊界越來(lái)越模糊,使得計(jì)算和存儲(chǔ)分離、分布式存儲(chǔ)等架構(gòu)在穩(wěn)定性和性能等領(lǐng)域變得更加高效和有生命力。
第二,標(biāo)準(zhǔn)化、服務(wù)化與開放化的演進(jìn)路徑。首先,提供諸如塊存儲(chǔ)和文件存儲(chǔ)等標(biāo)準(zhǔn)化的存儲(chǔ)方式,這些類型的存儲(chǔ)具備標(biāo)準(zhǔn)化的接口,使客戶能夠直接遷移數(shù)據(jù),避免了應(yīng)用的大量修改;其次,向服務(wù)化的方向發(fā)展。在傳統(tǒng)的存儲(chǔ)模式下,用戶需要大量的設(shè)備管理與維護(hù)升級(jí),而在云計(jì)算時(shí)代,云存儲(chǔ)將其演化成一種云服務(wù),用戶只需要關(guān)心自己的業(yè)務(wù)邏輯與創(chuàng)新即可;另外,更加開放。存儲(chǔ)云服務(wù)提供很多管理與控制的API,現(xiàn)在將其開放出來(lái),使得用戶可以通過(guò)編程調(diào)用API,管理與監(jiān)控存儲(chǔ)資源,以及實(shí)現(xiàn)跨平臺(tái)的管理。
第三,垂直領(lǐng)域和典型場(chǎng)景的深度集成設(shè)計(jì)。數(shù)據(jù)庫(kù)、大數(shù)據(jù)處理和分析、人工智能、容器等領(lǐng)域具有自身的特點(diǎn),所以存儲(chǔ)技術(shù)針對(duì)以上典型場(chǎng)景也進(jìn)行了相應(yīng)的集成設(shè)計(jì),結(jié)合場(chǎng)景的特點(diǎn)進(jìn)行適配和優(yōu)化,提高與場(chǎng)景結(jié)合的端到端優(yōu)化能力和存儲(chǔ)的效率。
對(duì)于企業(yè)和用戶而言,使用云計(jì)算有著諸多好處,云提供了靈活的彈性伸縮、彈性存儲(chǔ)容量、安全可靠、高可用性和穩(wěn)定的性能等能力。但是,云存儲(chǔ)在發(fā)展的過(guò)程中也面臨著諸多挑戰(zhàn),為滿足云時(shí)代發(fā)展的需求,吳結(jié)生為我們總結(jié)了新一代存儲(chǔ)要不斷演進(jìn),跟上需求演進(jìn)的變化,進(jìn)一步通過(guò)技術(shù)牽引去創(chuàng)造更多的變化。
容量海量化,需要持續(xù)的成本優(yōu)化技術(shù)來(lái)滿足數(shù)據(jù)的爆炸式增長(zhǎng)需求;存儲(chǔ)速度化,讀寫速度和數(shù)據(jù)處理速度不斷加速;數(shù)據(jù)來(lái)源和數(shù)據(jù)形態(tài)越來(lái)越多樣化;數(shù)據(jù)是新石油,是數(shù)字化經(jīng)濟(jì)的基礎(chǔ);存儲(chǔ)需要加強(qiáng)數(shù)據(jù)清洗、數(shù)據(jù)安全、數(shù)據(jù)處理方面的能力,提供真實(shí)、可信和安全的數(shù)據(jù),幫助企業(yè)或機(jī)構(gòu)挖掘數(shù)據(jù)的價(jià)值,實(shí)現(xiàn)數(shù)字經(jīng)濟(jì)中數(shù)據(jù)價(jià)值。針對(duì)這五個(gè)方向和不斷演進(jìn)的需求變化,阿里云已在存儲(chǔ)領(lǐng)域完成全面布局,包括塊存儲(chǔ)和對(duì)象存儲(chǔ)在內(nèi)的云上存儲(chǔ)家族,混合云存儲(chǔ)陣列、混合云備份和容災(zāi)的混合云存儲(chǔ)服務(wù),以及高性能分布式存儲(chǔ)和數(shù)據(jù)庫(kù)存儲(chǔ)等典型場(chǎng)景存儲(chǔ)方案。
阿里云十一年存儲(chǔ)進(jìn)化史 重新定義下一代存儲(chǔ)
了解了云時(shí)代存儲(chǔ)的發(fā)展路徑過(guò)后,接下來(lái)不妨讓我們看看阿里云存儲(chǔ)的技術(shù)演進(jìn)歷史,從而更直觀地了解云存儲(chǔ)在數(shù)字化轉(zhuǎn)型中的核心價(jià)值。作為阿里云飛天系統(tǒng)中極其重要的一環(huán),阿里云存儲(chǔ)不僅滿足了“雙11”等大規(guī)模業(yè)務(wù)場(chǎng)景對(duì)存儲(chǔ)系統(tǒng)的超高要求,提供豐富完整的公共云和混合云存儲(chǔ)產(chǎn)品矩陣,還通過(guò)客戶數(shù)據(jù)中心和邊緣局點(diǎn)到云上的整體存儲(chǔ)解決方案,打破了數(shù)據(jù)存儲(chǔ)和流通的邊界,滿足了企業(yè)的多樣化需求,為企業(yè)數(shù)字化轉(zhuǎn)型提供了數(shù)據(jù)核心價(jià)值。
“越過(guò)山丘,才發(fā)現(xiàn)那里已無(wú)人等候。。.。。.”,這是去年阿里云存儲(chǔ)新品發(fā)布會(huì)中的一句話。這句話低調(diào)地彰顯了阿里云的領(lǐng)導(dǎo)者地位,也恰好是阿里云存儲(chǔ)在成長(zhǎng)道路上堅(jiān)守與收獲的寫照。
2008年,為了探索阿里巴巴集團(tuán)大規(guī)模存儲(chǔ)解決之道,阿里云存儲(chǔ)團(tuán)隊(duì)?wèi)?yīng)運(yùn)而生。
2009年,阿里云分布式存儲(chǔ)引擎1.0(盤古PanGu)正式發(fā)布,為彈性計(jì)算虛擬機(jī)、阿里金融、郵箱、搜索提供通用存儲(chǔ)服務(wù)。
2013年,阿里云分布式存儲(chǔ)系統(tǒng)實(shí)現(xiàn)單集群5000臺(tái)服務(wù)器規(guī)模的部署,服務(wù)阿里巴巴電商業(yè)務(wù)和螞蟻支付寶業(yè)務(wù)。
2015年,成功實(shí)現(xiàn)了單集群10000臺(tái)服務(wù)器規(guī)模的部署,擁有云計(jì)算產(chǎn)業(yè)中最齊全的存儲(chǔ)產(chǎn)品線,成長(zhǎng)與效率躍居榜首。同年還打破了Sort Benchmark世界記錄,100TB排序完成時(shí)間僅需377秒。
2016年,CloudSort項(xiàng)目中,阿里云以1.44$/TB的成績(jī)獲得Indy專用目的排序和Daytona通用目的排序兩個(gè)子項(xiàng)的世界冠軍,打破了AWS在2014年創(chuàng)造的紀(jì)錄4.51$/TB。
2018年,面向人工智能、科學(xué)計(jì)算、深度學(xué)習(xí)等未來(lái)存儲(chǔ)場(chǎng)景,阿里云分布式存儲(chǔ)引擎2.0正式發(fā)布,這不僅證明了阿里云存儲(chǔ)歷經(jīng)十年的超強(qiáng)能力,更意味著阿里云存儲(chǔ)再次引領(lǐng)了云存儲(chǔ)與企業(yè)存儲(chǔ)、傳統(tǒng)存儲(chǔ)的破局之爭(zhēng)。
2019年,阿里云攜ESSD高性能云盤,領(lǐng)跑微秒存儲(chǔ)時(shí)代,正式吹響了進(jìn)軍企業(yè)存儲(chǔ)市場(chǎng)的號(hào)角。
阿里云存儲(chǔ)在十一年的發(fā)展歷程中,不斷推出重磅新品與取得傲人成績(jī),絕不僅僅是為了快速追趕業(yè)內(nèi)標(biāo)桿廠商。更重要的是,彰顯了阿里云為滿足全球用戶的業(yè)務(wù)需求,所沉淀的獨(dú)到見解和創(chuàng)新。隨著更多貼近用戶應(yīng)用的數(shù)據(jù)管理功能的推出以及生態(tài)的構(gòu)建,我們可以感知到阿里云存儲(chǔ)背后的思考。
在安全方面,對(duì)象存儲(chǔ)服務(wù)在國(guó)外成熟市場(chǎng)得到廣泛認(rèn)可,很多企業(yè)的核心業(yè)務(wù)信息都存儲(chǔ)在上面。但是在中國(guó),對(duì)象存儲(chǔ)的普及度還有待提升,數(shù)據(jù)安全的加強(qiáng)有助于改變這一現(xiàn)狀。對(duì)此,阿里云對(duì)象存儲(chǔ)也在更新重點(diǎn),劍指數(shù)據(jù)安全。據(jù)了解,阿里云存儲(chǔ)全線產(chǎn)品都具備全面的“數(shù)據(jù)加密”能力,其中對(duì)象存儲(chǔ)OSS提供包括KMS密鑰、BYOK密鑰、OSS托管密鑰等5種加密方式,完成服務(wù)端數(shù)據(jù)加密和客戶端線下加密等多種靈活形式。
在性能方面,隨著全閃存的普及和高性能網(wǎng)絡(luò)的發(fā)展,數(shù)據(jù)中心進(jìn)入“微秒時(shí)代”。起初,10萬(wàn)IOPS已是非常高的性能;而十年后的今天,百萬(wàn)、千萬(wàn)IOPS已經(jīng)成為多家廠商宣傳的主題詞。據(jù)介紹,作為全球首個(gè)百萬(wàn)IOPS的企業(yè)級(jí)云盤,阿里云ESSD搭配ECS云服務(wù)器使用,可提供單盤高達(dá)100萬(wàn)IOPS的隨機(jī)讀寫能力,單路寫時(shí)延 100 微秒。相比前一代的SSD云盤性能提升了40倍,讀寫時(shí)延降低了70% 。同時(shí),ESSD云盤支持不停機(jī)擴(kuò)展容量、不停機(jī)提高IO讀寫性能上限、數(shù)據(jù)加密等高級(jí)數(shù)據(jù)服務(wù)功能,具備企業(yè)級(jí)存儲(chǔ)的前沿技術(shù)創(chuàng)新能力。
在數(shù)據(jù)智能管理方面,打破數(shù)據(jù)孤島以形成有效的聯(lián)動(dòng)成為當(dāng)務(wù)之急。對(duì)此,阿里云提供了豐富的數(shù)據(jù)管理功能,通過(guò)數(shù)據(jù)分析系統(tǒng)挖掘數(shù)據(jù)價(jià)值。其中日志服務(wù)的AIOps分析功能面向趨勢(shì)預(yù)測(cè)、異常發(fā)現(xiàn)、智能聚類和根因分析四個(gè)場(chǎng)景,提升DevOps分析和診斷的效率,幫助運(yùn)維人員提前配置資源,提前預(yù)測(cè)、發(fā)現(xiàn)和解決常見故障。
在降低成本方面。每年雙11創(chuàng)造奇跡的背后,是巨大的成本投入;另一方面,在數(shù)據(jù)時(shí)代,隨著各種大數(shù)據(jù)處理框架不斷涌現(xiàn),成千上萬(wàn)的數(shù)據(jù)分析需求背后是大量的計(jì)算任務(wù),占用了大量的計(jì)算資源。此時(shí),阿里云數(shù)據(jù)中心利用混部技術(shù),將集群混合起來(lái),將不同類型的任務(wù)調(diào)度到同一批物理資源上,通過(guò)調(diào)度、資源隔離等控制手段, 在保障SLA的基礎(chǔ)上,充分使用資源,極大降低了成本。
化挑戰(zhàn)為機(jī)遇,阿里云存儲(chǔ)營(yíng)收過(guò)去三年增長(zhǎng)超過(guò)10倍,存儲(chǔ)容量增長(zhǎng)12倍,其中SSD容量增長(zhǎng)超10倍。十余年的存儲(chǔ)進(jìn)化,讓阿里云更新迭代了涵蓋公共云、混合云和邊緣計(jì)算在內(nèi)的全球最完整存儲(chǔ)產(chǎn)品線,面向萬(wàn)物智能時(shí)代,定義下一代存儲(chǔ),更安全、更穩(wěn)定、更優(yōu)化、更智能,讓用戶無(wú)縫上云。
存儲(chǔ)新常態(tài) 看人工智能如何激活存儲(chǔ)技術(shù)變革
如今,人工智能的高速發(fā)展,徹底改變了人類的工作方式、生活方式和思維方式,也實(shí)現(xiàn)了生產(chǎn)力的整體躍升和社會(huì)治理的新變革。隨著計(jì)算力的不斷突破,人工智能的技術(shù)也在日趨成熟,越來(lái)越多的企業(yè)開始將人工智能技術(shù)融入行業(yè)應(yīng)用中。而作為傳統(tǒng)行業(yè)的存儲(chǔ),經(jīng)歷了一輪又一輪技術(shù)市場(chǎng)洗牌,而今面對(duì)人工智能技術(shù)時(shí),又將如何撬動(dòng)市場(chǎng)的新需求呢?
對(duì)此,吳結(jié)生表示,在與人工智能的融合中,阿里云存儲(chǔ)正在做兩方面的實(shí)踐與探索:一方面是思考人工智能技術(shù)如何運(yùn)用到存儲(chǔ)系統(tǒng)中;另一方面也在踐行存儲(chǔ)系統(tǒng)如何更好地服務(wù)和支持人工智能計(jì)算,從而更好地普惠人工智能技術(shù)。兩者相互融合,共同促進(jìn)。
借助人工智能技術(shù),在磁盤、服務(wù)與網(wǎng)絡(luò)等硬件故障的檢測(cè)中,可以更加準(zhǔn)確地預(yù)測(cè)到故障的發(fā)生。在遇到網(wǎng)速變慢等異常狀況時(shí),可以做到及時(shí)有效的規(guī)避,從而使得產(chǎn)品更加穩(wěn)定,大大降低長(zhǎng)尾延遲現(xiàn)象;在智能負(fù)載均衡與調(diào)度中,利用人工智能技術(shù),能夠提前進(jìn)行負(fù)載均衡,避免熱點(diǎn)與不均衡;在數(shù)據(jù)的置放策略中,可以根據(jù)對(duì)冷熱數(shù)據(jù)的分析判斷,以及客戶訪問的規(guī)則與模式,將不同類型的數(shù)據(jù)進(jìn)行分類,安排不同的置放策略,從而提高總體系統(tǒng)效能,以便實(shí)現(xiàn)更加智能的分級(jí)存儲(chǔ)(Tiering)。
同時(shí),阿里云針對(duì)機(jī)器學(xué)習(xí)與人工智能計(jì)算的場(chǎng)景,推出了高性能并行文件系統(tǒng)(CPFS:Cloud Parallel File System),已經(jīng)廣泛應(yīng)用于智能駕駛、生命科學(xué)和基因計(jì)算等場(chǎng)景。CPFS也被廣泛使用在高性能計(jì)算領(lǐng)域,與阿里云的彈性高性能計(jì)算(E-HPC)一起提供服務(wù)化和商業(yè)化的高性能計(jì)算,不僅如此,還承擔(dān)了“國(guó)之重器”之一的“天眼”工程(500米口徑球面射電望遠(yuǎn)鏡 FAST 系統(tǒng))的存儲(chǔ)解決方案,助力人類對(duì)宇宙的不懈探索。
另外,隨著圖片和視頻內(nèi)容的不斷產(chǎn)生,急需對(duì)其進(jìn)行智能的分析,阿里云的智能媒體管理系統(tǒng)(IMM)將先進(jìn)的分析算法與存儲(chǔ)相結(jié)合,通過(guò)簡(jiǎn)單便利的調(diào)用接口,使得中小客戶也可以享用到阿里云和達(dá)摩院的人工智能能力,普惠人工智能技術(shù)。這些智能服務(wù)能力也經(jīng)歷了“雙11”場(chǎng)景的打磨,積累的最佳實(shí)踐轉(zhuǎn)化為產(chǎn)品的能力,復(fù)制到更多的客戶。
人工智能可以激活存儲(chǔ)的新變革,而借助存儲(chǔ)來(lái)服務(wù)人工智能計(jì)算,又能夠讓人工智能走上普惠的道路,這樣相輔相成的融合可謂絕妙。可預(yù)見的是,存儲(chǔ)技術(shù)將會(huì)與人工智能技術(shù)不斷融合,這也有利于存儲(chǔ)技術(shù)的更新?lián)Q代,更好地支撐業(yè)務(wù)的快速發(fā)展,最終具備技術(shù)擴(kuò)展業(yè)務(wù)邊界以及業(yè)務(wù)向技術(shù)拿紅利的能力。
另外,阿里云存儲(chǔ)將高性能存儲(chǔ)網(wǎng)絡(luò)作為分布式存儲(chǔ)的基石,聯(lián)合整個(gè)阿里云網(wǎng)絡(luò)和基礎(chǔ)設(shè)施團(tuán)隊(duì)進(jìn)行迭代式創(chuàng)新,從25G的網(wǎng)絡(luò)到現(xiàn)在的100G網(wǎng)絡(luò),高性能存儲(chǔ)網(wǎng)絡(luò)已經(jīng)取得了很大的進(jìn)步,在穩(wěn)定性和性能方面將會(huì)持續(xù)創(chuàng)新。最后,在數(shù)據(jù)中心級(jí)別的均衡規(guī)劃中,還需要更高級(jí)別和更大規(guī)模的設(shè)計(jì)。談及阿里云存儲(chǔ)未來(lái)的部署與計(jì)劃時(shí),吳結(jié)生強(qiáng)調(diào),為客戶創(chuàng)造更多的價(jià)值才能讓阿里云更有價(jià)值。
在快速迭代的技術(shù)面前,阿里云存儲(chǔ)以穩(wěn)定、安全、可靠為立身之本,并利用智能技術(shù)的新元素賦能存儲(chǔ),以普惠智能決策與智能計(jì)算。不難看出,阿里云存儲(chǔ)的創(chuàng)新活力,不僅拓展了云存儲(chǔ)的邊界,更在廣闊的企業(yè)級(jí)存儲(chǔ)市場(chǎng)中創(chuàng)造了更多的可能。
責(zé)任編輯:ct
評(píng)論
查看更多