色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

浪潮信息剖析智能時代數據存儲領域面臨的挑戰與機遇

浪潮存儲 ? 來源:浪潮存儲 ? 2024-12-30 09:43 ? 次閱讀

在當今數字化時代,算力與存力的協同增長已成為驅動各行各業發展的關鍵力量。特別是在人工智能AI)這一前沿領域,隨著數據量的爆炸式增長,對存儲系統的需求日益復雜和多樣。近期,在首屆CCF中國存儲大會上,浪潮信息存儲首席架構師孫斌深刻剖析了智能時代數據存儲領域面臨的挑戰與機遇。

算力增長與新范式

近年來,數據中心計算性能的增長呈現出前所未有的態勢。據統計,過去20年間,數據中心的計算性能已經增長了超過1000倍。2018年,我們迎來了特定領域架構(Domain Specific Architecture, DSA)發展的黃金時代,這標志著算力增長的新范式已經到來。這一范式以通用算力與AI算力的緊密結合為基礎,通過集群擴展和xPU多元編程模式,支撐未來20年計算性能的持續增長。

在傳統CPU場景中,邏輯控制遵循摩爾定律,盡管近年來性能增長放緩,但眾核與集群擴展技術的應用仍然推動了性能的不斷提升。而在GPU/TPU/NPU多場景中,并行計算能力的迅速提升更是令人矚目,近6年來每年性能增長達2.5倍。CUDA、HIP、OneAPI等編程模型的出現,為AI計算提供了強有力的支持。

智能時代多元存力需求

然而,隨著AI技術的廣泛應用,智能時代對存力的需求也呈現出多維度、多層次的特征,數據的高效匯聚、析取、流動與算子部署成為了關鍵所在。據預測,AI合成新數據的規模增速將顯著加快,到2025年,其在全球數據總量中的占比將達到10%。為了實時獲取洞察力并加速數據價值的變現,存儲系統需要滿足計算、存儲、網絡吞吐率1:1:1的比例,而未來20年存力的增長需求更是高達100倍以上。

此外,智能時代的存儲需求還體現在多源、多維、多模、多態、多域等多個方面。數據來源于多個行業、設備、階段,形態也多種多樣,包括文本、二進制、數據庫等。這些數據需要在云數據中心、邊緣數據中心和大型數據中心之間高效流動和協同處理。

制約存儲性能提升的隱形枷鎖

盡管存儲系統在性能上取得了顯著進步,但存儲節點仍面臨諸多挑戰。I/O棧依賴的硬件技術發展進入平緩期,單核IOPS效率、多核擴展性、內存和IO帶寬與CPU核的比例均呈現下降趨勢。這意味著,保持成本與能耗不變的情況下,兩年翻番的紅利期已經結束。

首先,存儲節點的緊耦合設計限制了其靈活性和擴展性。傳統存儲節點通常采用2/4/5U固定高度,并靜態配置CPU、內存、磁盤和網絡設備。這種設計雖然簡化了部署和管理,但導致了資源利用率低的問題。由于器部件、設備、數據生命周期不匹配,部分硬件提前淘汰,從而造成資源浪費。同時,SSD存控耦合也限制了單盤容量的提升,進一步制約了存儲性能的增長。

其次,以CPU為中心編程的I/O棧存在數據通量受限的問題。在處理小規模數據時,這種設計可能表現良好,但隨著數據量的增加,CPU逐漸成為瓶頸,限制了數據通量。這使得CPU對數據I/O的五類算子(編碼、搬移、比較、查詢、插取)的處理效率不高,導致單節點性能上限僅為百萬級IOPS。

此外,I/O驅動的存儲架構還導致AI就緒數據準備周期長。AI就緒數據通常需要經過清洗、轉換、聚合等多個預處理步驟,在I/O驅動的存儲架構下,這些步驟往往耗時較長,導致數據準備時間占比超過80%,模型迭代緩慢。

面向未來數據中心的存儲底座

為了應對數據洪流的洶涌澎湃,存力必須實現百倍的增長。這一需求不僅是對存儲容量的簡單擴張,更是對存儲架構設計范式的根本性變革。重構存儲節點硬件資源的耦合設計、打破以CPU為中心的傳統編程模式,將成為支撐未來20年存儲效率與擴展能力百倍提升的關鍵。

在此背景下,浪潮信息存儲首次提出了打造“機柜級存儲底座(Bottom of Rack, BoR)”和“數據中心級存儲底座(Bottom of Datacenter, BoD)”的創新理念。BoR支持近計算端按需組合存儲節點配置和軟件微服務,能夠重構多形態存儲系統,滿足全場景綜合負載需求。而BoD則支持全域、全局、全生命周期的數據編制服務,能夠解決數據孤島問題,提升數據流動效率,為AI應用提供高質量的實時數據,進一步簡化部署和運維。

浪潮信息在今年5月份CCF秀湖會議提出的“三層三面兩體”新型存儲架構理念為BoR和BoD的實施提供了具體的方向:即向內不斷優化存儲算法、提升硬件性能、完善軟件功能,以實現對存儲資源的高效利用和靈活擴展;向外積極與云計算、大數據、人工智能等新興技術融合,推動存儲系統的智能化、自動化和云化發展。

近年來,浪潮信息存儲積極探索新型存儲系統與架構技術,以應對智能時代的存儲需求。其中,解耦可組合存儲硬件/軟件設計v2.0是關鍵的創新方向。這一研究深入探索控制/計算、多層異構介質硬件資源的解耦與互連,以及存儲功能軟件組件的微服務化與通信機制。通過AI統籌的存儲I/O棧微服務、線程、協程并發調度,實現近線性擴展。同時,基于新協議互連,實現軟件動態定義邏輯控制節點,實現存算資源按需彈性組合,SSD模組解耦控制服務軟硬件與定義盤控協同規范,從而支撐SSD容量密度達到PB級。

此外,浪潮信息存儲還致力于面向數據算子的xPU協同編程新模式的研究。該模式通過聚焦傳統存儲數據I/O流和AI就緒的數據算子硬件加速技術,旨在建立xPU協同編程的新模式。通過分布式共享緩存架構和數據算子硬件加速技術,這一模式能夠實現單節點千萬級IOPS高通量和跨節點近線性擴展,從而大幅提升存儲系統的性能。

在全域全局全生命周期數據編織服務平臺方面浪潮信息存儲也進行了深入研究。通過構建全域、全局、全生命周期的數據編織服務平臺,實現API驅動的數據容納、處理、安全、流動、共享和管理。該平臺突破了數據與存儲系統解耦技術,建立了數據流通技術規范,驅動數據跨應用、跨系統、跨云共享。同時,主動元數據管理引擎、數據與算子的統籌部署為AI實時提供高質量的就緒數據,進一步提升了存儲系統的智能化和自動化水平。

在智能時代的大背景下,浪潮信息存儲不斷探索和突破新型存儲系統與架構技術,以應對日益復雜和多樣的存儲需求,通過創新舉措正逐步構建起一個高效、可擴展、智能化的存儲生態系統。未來,隨著技術的不斷進步和應用場景的不斷拓展,浪潮信息存儲將繼續引領存儲行業的發展潮流,為數字經濟的繁榮發展貢獻力量。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 浪潮
    +關注

    關注

    1

    文章

    462

    瀏覽量

    23879
  • 存儲系統
    +關注

    關注

    2

    文章

    413

    瀏覽量

    40866
  • 算力
    +關注

    關注

    1

    文章

    985

    瀏覽量

    14836

原文標題:浪潮信息存儲首席架構師孫斌:智能時代的新型存儲系統與架構創新

文章出處:【微信號:inspurstorage,微信公眾號:浪潮存儲】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    浪潮信息如何應對智能時代下的數據存儲需求

    隨著智能時代的全面到來,數據量呈現出爆炸性增長,這對存儲系統提出了前所未有的高標準要求。從早期的“百模大戰”演進至“千模大戰”,現已邁入了一個以數據
    的頭像 發表于 11-26 13:42 ?218次閱讀

    浪潮信息AI存儲性能測試的領先之道

    AI技術的無限可能。近日,在MLCommons的子項目MLPerf Storage v1.0性能基準評測中,浪潮信息再度展現了在AI存儲領域的卓越實力。
    的頭像 發表于 10-29 16:30 ?256次閱讀
    <b class='flag-5'>浪潮信息</b>AI<b class='flag-5'>存儲</b>性能測試的領先之道

    浪潮信息趙帥:開放計算創新 應對Scaling Law挑戰

    北京2024年8月15日?/美通社/ -- 日前在2024開放計算中國峰會上,浪潮信息服務器產品線總經理趙帥表示,智能時代,開源模型和開放計算激發了人工智能產業生態的創新活力,面對大模
    的頭像 發表于 08-15 16:02 ?292次閱讀
    <b class='flag-5'>浪潮信息</b>趙帥:開放計算創新 應對Scaling Law<b class='flag-5'>挑戰</b>

    浪潮信息引領數據編排新紀元,加速釋放數據潛能

    在2024年數據基礎設施技術峰會的璀璨舞臺上,浪潮信息分布式存儲產品線架構師Lance Sun博士以其深厚的行業洞察與前瞻視角,發表了題為“高效數據編排,加速釋放
    的頭像 發表于 07-03 15:30 ?394次閱讀

    浪潮信息推出AIGC存儲解決方案

    近日,在科技創新的浪潮中,浪潮信息成功舉辦了“元腦中國行”全國巡展的杭州站活動,此次盛會不僅匯聚了業界的精英與目光,更見證了浪潮信息在AIGC(人工智能生成內容)
    的頭像 發表于 07-03 11:16 ?731次閱讀

    浪潮信息推出基于新一代分布式存儲平臺AS13000G7的AIGC存儲解決方案

    、新一代分布式存儲AS13000G7自身產品優勢,新方案從容應對大模型應用對存儲性能、容量以及數據管理等方面的苛刻要求。同時,浪潮信息嘗試性提出GPU計算集群算力與
    的頭像 發表于 07-01 19:00 ?1443次閱讀
    <b class='flag-5'>浪潮信息</b>推出基于新一代分布式<b class='flag-5'>存儲</b>平臺AS13000G7的AIGC<b class='flag-5'>存儲</b>解決方案

    CCF-TCIST走進浪潮信息 共話AI時代存儲創新

    ”活動啟動,來自CCF信息存儲技術專委會、清華大學、北京大學、華中科技大學、華東師范大學、上海交通大學、上海理工大學等單位的十余位存儲領域專家、學者走進
    的頭像 發表于 06-07 14:27 ?291次閱讀
    CCF-TCIST走進<b class='flag-5'>浪潮信息</b> 共話AI<b class='flag-5'>時代</b><b class='flag-5'>存儲</b>創新

    整數智能浪潮信息攜手,共創AI數據管理新紀元

    近日,整數智能浪潮信息兩大科技巨頭正式簽署元腦生態戰略合作協議,標志著雙方在AI與數據科學領域的合作邁出了堅實步伐。
    的頭像 發表于 05-31 11:21 ?667次閱讀

    整數智能浪潮信息簽署元腦生態戰略合作協議

    近日,整數智能浪潮信息兩大業界巨頭正式簽署元腦生態戰略合作協議,共同開啟AI與數據科學領域的新篇章。
    的頭像 發表于 05-27 11:35 ?666次閱讀

    整數智能浪潮信息簽署元腦生態戰略合作協議

    近日,整數智能浪潮信息簽署元腦生態戰略合作協議。雙方將秉持協同共生、開放共贏的原則,在元腦生態的框架內開展AI與數據科學領域的深度協作
    的頭像 發表于 05-27 11:21 ?457次閱讀
    整數<b class='flag-5'>智能</b>與<b class='flag-5'>浪潮信息</b>簽署元腦生態戰略合作協議

    浪潮信息發布AS13000G7-N系列分布式全閃存儲

    浪潮信息近日推出了專為大型AI模型優化的AS13000G7-N系列分布式全閃存儲。該系列基于浪潮信息自研的分布式文件系統,結合新一代數據加速引擎DataTurbo,為用戶提供卓越的
    的頭像 發表于 05-14 10:03 ?575次閱讀

    【中心動態】 走進浪潮信息

    5月8日,RISC-V國際人才培養認證中心主任蔣學剛一行,到訪浪潮電子信息產業股份有限公司(以下簡稱“浪潮信息”),受到深圳區域副總經理段青云、產品經理陶耀民的熱情接待。浪潮信息是全球
    的頭像 發表于 05-13 17:42 ?458次閱讀
    【中心動態】 走進<b class='flag-5'>浪潮信息</b>

    為大模型專門優化 浪潮信息發布分布式全閃存儲AS13000G7-N系列

    北京2024年5月10日?/美通社/ -- 近日,浪潮信息發布為大模型專門優化的分布式全閃存儲AS13000G7-N系列。該系列依托浪潮信息自研分布式文件系統,搭載新一代數據加速引擎
    的頭像 發表于 05-10 16:37 ?438次閱讀
    為大模型專門優化 <b class='flag-5'>浪潮信息</b>發布分布式全閃<b class='flag-5'>存儲</b>AS13000G7-N系列

    浪潮信息發布為大模型專門優化的分布式全閃存儲AS13000G7-N系列

    近日,浪潮信息發布為大模型專門優化的分布式全閃存儲AS13000G7-N系列。該系列依托浪潮信息自研分布式文件系統,搭載新一代數據加速引擎DataTurbo,
    的頭像 發表于 05-08 09:38 ?572次閱讀
    <b class='flag-5'>浪潮信息</b>發布為大模型專門優化的分布式全閃<b class='flag-5'>存儲</b>AS13000G7-N系列

    XEDP與KeyarchOS完成浪潮信息澎湃技術認證

    澎湃技術認證。 經聯合測試, 雙方產品功能兼容性良好,整體運行流暢,性能表現優異,滿足用戶在云計算、大數據、人工智能領域對企業級數據存儲
    的頭像 發表于 02-27 17:56 ?477次閱讀
    XEDP與KeyarchOS完成<b class='flag-5'>浪潮信息</b>澎湃技術認證
    主站蜘蛛池模板: 国产叼嘿久久精品久久| 久久re这里视频精品8| 麻豆AV蜜桃AV久久| 最近2019中文字幕免费版视频| 邻家美姨在线观看全集免费| 97超碰在线视频人人av| 日本美女论坛| 国产精选视频在线观看| 亚洲字幕在线观看| 欧美18在线| 国产偷窥盗摄一区二区| 原神美女被超污app| 奇米狠狠一区二区三区| 国产精品人妻99一区二| 在镜头里被CAO翻了H| 欧美一区二区日韩一区二区| 国产精品麻豆a在线播放| 永久免费的无码中文字幕| 日本不卡一二三| 后式大肥臀国产在线| jijzzizz中国版| 亚洲精品网址| 欧美在线激情| 黄网13区| 纯肉高H种马艳遇风流多| 亚洲人交性视频| 日本护士喷水| 久久国产伦子伦精品| 俄罗斯美女性生活| 浴室里强摁做开腿呻吟的漫画男男| 奇米狠狠干| 久久99热这里只有精品66| 二级毛片免费观看全程| 中文字幕精品在线视频| 午夜理伦片免费| 男人被绑着强行摸j| 国产一区二区精品视频| 边吃胸边膜下床震免费版视频| 一起碰一起噜一起草视频| 熟妇的味道HD中文字幕| 嫩草影院地址一地址二|