“新基建”正在成為業界關注的熱點,5G、大數據中心、人工智能、工業互聯網等新型基礎設施建設正在加速推進。“新基建”主要包含 5G 基建、特高壓、城際高速鐵路和城際軌道交通、新能源汽車充電樁、大數據中心、人工智能、工業互聯網等七大領域的建設,涉及到通信、電力、交通、數字等多個社會民生重點行業。
在新基建中,尤其引人注目的是大數據中心。IT從業者都知道,大數據中心是承載海量數據的平臺,新興產業的未來發展將大量依賴于數字世界,從國家治理、政務服務到各個產業 ,建好數據中心將有助于促進行業轉型和發展數字經濟。
大數據中心的最重要的特征是數據量和規模的高速增長:到2025年全球新創建的數據將達到175ZB;企業對實時數據需求增加,到2023年實時數據占全球數據圈24.5%的份額;核心數據中心的數據存儲容量占比將超過50%。
隨著數據量和數據中心規模的擴大,以及各種新存儲介質和技術的應用,存儲系統變得越來越復雜。用戶需要的存儲專業知識越來越多,而用好存儲對用戶來說越來越難。
AI智能化技術可以解決存儲系統使用的復雜性問題。AI系統會不斷地從存儲及其運行環境中采集存儲的各種狀態信息和性能數據,用機器學習算法分析,學習用戶的存儲使用情況,進而自動化的調整并優化存儲系統,使存儲服務能更好地適應用戶的需求。
比如:智能化的把數據保存在合適的區域;自動的完成數據均衡;預測未來的需求;預防潛在的問題;智能調優等。有AI加持的智能化存儲可以增強系統的可靠性,降低存儲的復雜性和維護成本。因此,“新基建”需要智能化的“新存儲”。
1
客戶的未來,從智能化新存儲開始
IDC在2018年6月完成了一項全球存儲客戶的智能化特性調查,客戶對使用AI / ML算法推動存儲系統的改進抱以積極的態度,如下圖,
IDC調研:客戶對AI智能化存儲的需求同時,IDC還調研了已經使用了智能化存儲的客戶,詢問他們從中得到了哪些好處。下圖展示了客戶目前最關心的五項智能服務。其中,排名第一的是改善系統的整體可用性;其次是加快問題解決速度及提高性能容量規劃,預測性地識別任何即將發生的故障,監視與存儲相關的其他IT基礎架構也被客戶重點關注。
IDC調研:用戶最希望使用的智能化存儲特性
2
智能化存儲的關鍵技術
一個完整的智能化存儲框架包括下圖所示的5個過程:
存儲的AIOps框架
1) 監控:系統首先通過日志、SNMP、RestAPI等技術手段抓取并保存存儲系統中的運行狀態、性能和故障報錯數據,這為AI自優化系統創造了數據基礎。
2) 學習:在長時間、海量的監控數據基礎上,AI會不斷分析用戶的IO模型和系統狀態信息,學習最佳的應用實踐,并自動分析問題根因和發現異常行為。
3) 預測:對于新發現的問題,AI算法都可以自動學習并提取可重復的模式,并將新的算法模型應用到其他尚未發現該問題的設備上,從而準確預測風險和故障。
4) 推薦:除了智能化預測新問題外,AI還會學習出解決和優化問題的具體建議。如修改內外部配置參數、更換部件、系統軟件升級等。
5) 實施:AI系統可以自動運行優化措施并解決問題。如果處于安全考慮,也可以停止自動優化系統,人工操作來解決現場問題。
學術界也非常關注智能化存儲技術。國外的存儲和系統領域的頂級會議FAST、ATC、SRE、KDD有很多相關文章,清華大學、中科院、華中科技大學等國內科研機構也在故障預測、根因分析、異常檢測、自動調優等方面有優秀的科研成果。
清華大學在《計算機學會通訊》上系統地闡述了智能化存儲的關鍵技術。文中把存儲的智能化歸納為歷史事件、當前事件、未來事件三類應用場景。
歷史事件場景中瓶頸分析指的是制約存儲或系統服務的硬件或軟件瓶頸;熱點分析指的是自動挖掘出大于正常閾值性能指標;KPI聚類是對類似的指標曲線進行聚類;KPI曲線關聯挖掘是針對兩條曲線的關聯關系進行挖掘;全鏈路模塊調用分析能分析出模塊間的調用關系;異常事件關聯挖掘是指對異常事件之間的關系進行關聯分析;故障傳播關系圖融合了以上四種技術,推斷出異常事件之間的故障傳播關系。
當前事件場景主要是根據當前的日志和告警、快速檢測和定位異常,并完成故障的根因分析,最終實現快速止損,控制故障的影響范圍。
未來事件場景的技術原理都是通過AI技術自動挖掘故障發生前的日志、性能參數指標,找到故障前可重復的模式,從而在今后出現類似的日志模式時,提前預測故障、性能容量變化趨勢以及系統可能的熱點瓶頸。根據IDC的客戶調查來看,針對未來事件的預測場景是存儲用戶關注的重點。
存儲智能化的關鍵場景和技術
3
智能化存儲的實踐應用
在存儲產業界中,Nimble Storage在2010年推出了智能化的存儲軟件Infosight,提供了預測性分析、端到端的故障定位、性能洞察等一系列的智能化功能。幫助用戶分析復雜應用環境下從虛擬機到后端存儲端到端的性能瓶頸,確定影響性能瓶頸的主要因素,并最終給出可行的優化或解決問題的建議。
全球存儲廠商Netapp、IBM、DELL EMC也在2017年以后推出了自己的智能化產品ActiveIQ、StorageInsights和CloudIQ。
作為新數據時代下“新存儲”的引領者,浪潮存儲也推出了領先且獨具特色的智能化存儲管理平臺InView,實現了磁盤故障預測、性能容量預測的智能化功能,幫助客戶預判硬件故障,規避硬件故障帶來的風險和損失,并給出具體的擴容建議,為客戶提供更好的存儲服務。
責任編輯:pj
-
人工智能
+關注
關注
1792文章
47424瀏覽量
238947 -
大數據
+關注
關注
64文章
8896瀏覽量
137521 -
工業互聯網
+關注
關注
28文章
4323瀏覽量
94169
發布評論請先 登錄
相關推薦
評論