色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

尋找AI時代的關鍵拼圖,從美國橡樹嶺國家實驗室讀懂AI存力信標

腦極體 ? 來源:腦極體 ? 作者: 腦極體 ? 2023-10-16 09:33 ? 次閱讀

超算,是計算產業的明珠,是人類探索未知的航船。超算的發展與變化,不僅代表著各個國家與地區間的科技競爭力,更將作為趨勢風向標,影響整個數字化體系的走向。

在目前階段,超算與AI計算的融合是大勢所趨。為了將AI模型與AI計算融入超算體系,一輪新的超算變革正在醞釀發生。與此同時,一個關鍵問題也顯露了出來:我們是否需要配合AI大模型風潮,打造全新且獨立的存儲體系?

在超算領域擁有廣泛聲譽的橡樹嶺國家實驗室(Oak Ridge National Laboratory),已經就這個問題給出了明確的答案:需要。

wKgaomUqu7OAanfhAAFYzPcUc_Y080.jpg

日前,我們在橡樹嶺實驗室發布的面向2027年構建下一代數據中心相關計劃中已經看到,其明確提出了應對十億到百億級大模型的引入,除了需要面向傳統HPC場景的PFS(Parallel file system 并行文件系統),還需要單獨設立AOS(AI-optimized storage AI 優化存儲)存儲系統,并給出了相關的詳細品類定義與規格約束。

這個信息為何重要?其又將如何影響計算與存儲產業的持續發展?

讓我們共同來解讀一下,這個智能時代的存力信標。

科學之巔的超算答案

不久之前,諾蘭導演的電影《奧本海默》在全球熱映,其中對曼哈頓工程的描繪讓人印象深刻。

事實上,曼哈頓工程的影響遠不止于影片介紹的范圍。成立于1934年,隸屬于美國能源部的橡樹嶺國家實驗室,原本就屬于曼哈頓工程的一部分。作為美國乃至全球最具代表性的國家實驗室,其存在目的是攻克當下最嚴峻的科學難題,開發具有跨時代意義的技術。

從上世紀40年代開發核反應堆,到率先在完成中子散射開展材料的相關研究,再到為半導體產業提供了一系列信息與相關技術。橡樹嶺國家實驗室可謂在每個階段都深度參與了信息時代的重大科學發現,被譽為人類科學之巔。

時間來到今天,橡樹嶺國家實驗室最具盛名的能力就是超算。在的2022年全球超算Top500名單中,橡樹嶺國家實驗室的Frontier超級計算機系統奪得第一。其憑借1.102 Exaflop/s的HPL分數,成為人類有史以來第一臺“E級超算”計算機。也就是說,Frontier實現了斷代式的驚人算力,其超算性能大于排在它身后的468個超算體系之和。同時,Frontier還是全球AI計算能力最強的計算體系之一,其AI計算能力已經投身到了智能交通、智能醫療等領域的探索中。

由此可見,橡樹嶺國家實驗室在超算領域擁有極強的先進性,堪稱廣義超算領域的絕對權威。而在打造Frontier為代表的超算體系過程中,實驗室也正以更加深邃的目光,望向AI計算與存儲的前沿探索之路。

他們給出的AI存力答案,顯然可以被更多超算體系,乃至數字化建設整體所參考。

對AI存力底座的明確定義

長久以來,我們都知道AI專項算力的重要性。那么是否需要在存儲領域構建AI專項存力呢?這一直是個業界激烈爭論的問題。而橡樹嶺國家實驗室的答案,或許可以起到一錘定音的效果。在其發布的面向2027構建下一代數據中心方案中,明確提出了面對大模型的引入,除了需要面向傳統超算場景的存儲體系之外,要單獨設立AOS(AI-optimized storage)品類。這也就是說,要建設傳統超算業務和面向AI業務負載的兩套I/O存儲系統——PFS和AOS,即構建更適應、更匹配AI負載的專項存儲。

這是因為橡樹嶺國家實驗室已經意識到,未來超算將面臨著越來越多的AI處理任務。這不僅僅需要算力系統的提升,更需要單獨針對存儲系統進行升級。因此對AI工作負載定制全新的存儲子系統至關重要。

兩套I/O存儲系統相比較的話,很容易找到區別。

傳統的PFS,更多是針對單一POSIX文件命名空間,整體業務的I/O較大,并且更多針對大文件進行運算處理,更強調集群聚合帶寬,對小文件的創建或讀取性能要求并不高。

而相較于PFS,AI應用折射到AOS負載上的文件更加復雜,大小不一,并且數據密集型分析占據了更大比重,在全流程中會產生大量的數據或元數據隨機讀寫情況。這就需要存儲系統既具備高達千萬級的IOPS與OPS、又擁有十TB/s級別的超高帶寬來進行高速順序讀寫。

簡而言之,新的AI負載會帶來巨大的存儲性能需求,這是傳統PFS系統所謂無法負擔的。只有存儲性能極大升級,才能讓AI算力利用率提升,整個模型的訓練效率升級。

其次,極為重要的一點在于AI場景下計算節點故障率高,平均要達到天級甚至小時級就出現故障,因此需要頻繁的斷點續訓,并且還有可能需要很多階段性的模型數據與窗體數據定期保存。因此與傳統的超算任務相比,AI任務需要存儲具有更大的容量以及更高的效率。

接下來,我們還要看到共享存儲的必要性。橡樹嶺國家實驗室要求計算任務在任何計算節點都可以隨機訪問任何一個文件,從而確保AI任務在任何節點訪問時性能具有強一致性。

除此之外,AOS還具備在底層文件系統與AOS之間的高效并行數據傳輸能力,從而確保文件的跨層調度能力。

為了保護珍貴的AI數據資產,AOS對存儲可靠性的要求也提升了很多。由于各種AI訓練大量采用分布式,需要在單點故障后依舊保持數據高可用、任務不中斷。這需要滿足跨節點的EC(Erasure Coding)能力,不像一些傳統并行文件系統僅可做到節點內EC,當節點宕機后就會出現數據丟失、數據完整性受損,并且對于故障后的數據重構的性能速度,也規定了相關時長。

最后,AOS還需要具備本地數據的清洗與處理的能力,包含敏感信息去除、隱私信息過濾,甚至轉碼、去重等工作,從而簡化數據預訓練工作,提升AI任務的整體效率。

總結來說,橡樹嶺國家實驗室已經明確提出,AI大模型浪潮不僅需要專項算力,還需要專項存力。傳統的并行文件系統已經無法滿足AI任務的需求,AI存儲的門檻正在變得更高,定義正在更加清晰明確。

由橡樹嶺國家實驗室的超算探索出發,AI存力的概念將影響到整個產業。

存儲發展的時代信標

橡樹嶺國家實驗室的發現,可以說是一個時代信標,它將輻射到更廣泛的區域,給存儲產業的升級發展提出明確信號

首先,業界可以由此凝結成一個共識:AI需要專業算力,也需要專業存儲。AI存力概念將成為大模型時代主導存儲產業的骨干。

其次,我們可以看到超算領域將首先得到啟示。在全球各個國家與地區,超算都是國之利器,是科技競賽的關鍵節點。而在超算與AI水乳交融的發展趨勢下,超算場景必須積極引入AI存力升級,設置專業的外置存儲,并且積極踐行以存強算,通過存儲升級來提升AI算力利用率。比如將AI大模型密集型計算之前,為了降低計算通信開銷比,可以將一部分數據預處理下沉到存儲層完成,以此節省AI算力。最終可以通過存儲來提升超算體系的先進性與自主性。

接下來,我們還可以看到這一趨勢將釋放到超算場景之外。在AI大模型走入千行百業的進程中,各個領域都需要考慮存儲是否能夠適配AI模型與算力系統。適時進行存儲升級,實現存、算、AI的相輔相成,是智能化發展過程中的關鍵。

這些啟示,對于中國存儲產業的發展,尤有至關重要的意義。

存力勃發,時代之選

在大模型發展中,存力是前提條件,也是產業支柱。尤其對應到中國在實現科技自立自強,推進數實融合的大勢當中。AI浪潮恰好是一個絕佳契機,可以以最低成本,最高價值實現存儲產業的全面升級更新。

從目前全球主流趨勢來看,存儲升級對AI發展的助力是多方位、全面性的。是一個高吞吐、可共享、大容量、高可靠的存儲系統,是產業智能化、經濟智能化發展的關鍵。

在這個趨勢下,中國存力建設有以下幾個機遇需要緊緊把握:

1.擴大存力規模,提升先進存儲占比。

隨著AI大模型的崛起,以及AI深入到超算、大型政企數字化等場景,會有更多企業傾向于進行本地化的AI訓練與相關數據存儲。這個過程中,既需要擴大存力整體規模,也需要提升以全閃存為代表的先進存儲占比,以此來滿足智能化發展所需。

2.提升存儲技術創新,應對AI時代的數據復雜性。

AI帶來了數據復雜性與應用流程多樣性等一系列挑戰,因此存儲的先進性必須得到進一步提升。比如說,在建設數據湖的過程中,多數據中心、多業務系統的數據歸集緩慢且復雜,跨業務的數據倒換的低效且繁瑣,都給存儲帶來了考驗。因此,存儲需要提升協議互通能力、數據跨域調度、跨系統可視化數據管理等能力。以存儲技術創新,應對AI時代的一系列技術挑戰。

3.提升存儲安全與運維能力,確保AI發展無憂。

AI大模型不僅帶來了數據的復雜性,還帶來了一系列全新的安全隱患,以及愈加復雜的存儲運維管理壓力。因此,存儲需要積極踐行主動安全、自動運維等能力,從而確保AI體系的健康發展。

在這些努力的堅持不懈下,AI存力將得到極大發展。就像我們知道AI算力即生產力,AI存力也將在未來成為生產力釋放的關鍵,成為產業智能化的引擎。

總結起來,一項產業升級與技術發展,首先需要找到信標,讀懂趨勢。如果說此前我們對于AI專項存儲的定義與發展還有爭議,那么橡樹嶺國家實驗室對未來數據中心的定義,就是為這一爭論畫下了句號。

依靠其在超算領域,乃至全球科研界的地位,首先我們可以看到AI存儲本身的絕對必要性。其次可以對AI存儲的定義、門檻與發展規范提出詳細的要求。由此一來,我們可以在越來越多的證據下,清楚地看到AI大模型時代存儲升級的必然。

AI存力的價值,在頂級實驗室的論證與探索中可以證明;在存儲產業多年來走向自主化、先進化的發展腳步中可以證明;在每一次AI訓練之后,模型開發者對存儲價值的慨嘆中可以證明。

抓住AI機遇,促使存力勃發,是時代之選,更是時代之幸。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 存儲
    +關注

    關注

    13

    文章

    4298

    瀏覽量

    85802
  • AI
    AI
    +關注

    關注

    87

    文章

    30746

    瀏覽量

    268896
  • 超算
    +關注

    關注

    1

    文章

    115

    瀏覽量

    9070
  • 大模型
    +關注

    關注

    2

    文章

    2425

    瀏覽量

    2645
  • 存力
    +關注

    關注

    0

    文章

    23

    瀏覽量

    80
收藏 人收藏

    評論

    相關推薦

    梯度科技成為AI Cloud MSP技術服務實驗室首批成員單位

    近日,2024全球數字經濟大會云·AI·計算國際合作論壇成功召開。會上,公布了AI Cloud MSP技術服務實驗室首批成員單位,梯度科技憑借在人工智能云管理服務領域的卓越實力成為AI
    的頭像 發表于 12-18 10:07 ?138次閱讀

    潤和軟件助力實驗室行業智慧化發展

    在新質生產和高質量發展戰略的引領下,實驗室作為國家重要基礎設施,其標準化和智慧化建設備受關注。近日,聚焦《生物實驗室設備及安裝》圖集及實驗室
    的頭像 發表于 11-30 11:51 ?321次閱讀

    深圳南柯電子 EMC電磁兼容性實驗室:提升電子產品競爭關鍵

    深圳南柯電子|EMC電磁兼容性實驗室:提升電子產品競爭關鍵
    的頭像 發表于 10-29 14:04 ?197次閱讀
    深圳南柯電子 EMC電磁兼容性<b class='flag-5'>實驗室</b>:提升電子產品競爭<b class='flag-5'>力</b>的<b class='flag-5'>關鍵</b>

    榮耀與智譜攜手共建AI大模型聯合實驗室

    近日,榮耀終端有限公司與北京智譜華章科技有限公司正式攜手,共同宣布成立AI大模型技術聯合實驗室,并簽署了戰略合作協議。此次合作標志著雙方在人工智能領域的深度合作邁入新階段,共同致力于為用戶帶來前所未有的智能體驗。
    的頭像 發表于 09-03 18:15 ?1017次閱讀

    開啟全新AI時代 智能嵌入式系統快速發展——“第六屆國產嵌入式操作系統技術與產業發展論壇”圓滿結束

    孝成分享了翼輝在任務關鍵領域的技術方案,包括任務關鍵型云原生技術體系、軟件工廠與云原生實驗室的組成、特點以及基于任務關鍵型云原生的產業方案。 麒麟軟件有限公司資深研發工程師張云飛做了“
    發表于 08-30 17:24

    大模型時代的算需求

    現在AI已進入大模型時代,各企業都爭相部署大模型,但如何保證大模型的算,以及相關的穩定性和性能,是一個極為重要的問題,帶著這個極為重要的問題,我需要在此書中找到答案。
    發表于 08-20 09:04

    AI技術合作 海信日立與瑞薩電子建立聯合實驗室

    在推動科技進步與產業升級的浪潮中,海信日立與瑞薩電子正式宣布成立聯合實驗室,致力于通過人工智能(AI)技術的聯合開發,進一步深化雙方的戰略合作。聯合實驗室揭牌儀式于5月31日在青島隆重舉行,標志著
    發表于 08-15 17:16 ?290次閱讀

    AMD收購歐洲最大私人AI實驗室Silo AI

    AMD近日宣布,已成功完成對歐洲頂尖私人人工智能實驗室Silo AI的收購,交易總金額高達6.65億美元(折合人民幣約47.73億元),此次交易以全現金方式完成。隨著Silo AI的科學家與工程師團隊正式并入AMD,這一戰略并購
    的頭像 發表于 08-14 16:23 ?440次閱讀

    中軟國際金融AI實驗室成立 引領金融科技新動力

    中軟國際金融AI實驗室(ChinaSoft AI Lab for Finance, 簡稱CALF)近日正式成立。實驗室致力于將? AI技術深
    的頭像 發表于 08-01 18:49 ?929次閱讀

    優刻得與聯想AI實驗室攜手共建高效AI資源池

    近日,云計算服務提供商優刻得(UCloud)與聯想AI實驗室宣布達成戰略合作,雙方將共同打造一個高效且靈活的本地化AI資源池,旨在加速AI技術的研發與應用創新。此次合作標志著優刻得在推
    的頭像 發表于 07-14 14:19 ?1087次閱讀

    中興通訊攜手合作伙伴揭牌GTI 5G-A×AI開放實驗室

    在科技日新月異的今天,中興通訊上海無線未來實驗室(Infinity Lab)再次站在了技術創新的前沿。近日,該實驗室舉行了盛大的GTI 5G-A×AI開放實驗室揭牌儀式,這一里程碑式的
    的頭像 發表于 06-26 18:15 ?1142次閱讀

    橡樹國家實驗室推出全球最高電動汽車無線充電技術

    實驗室研發出一款無線充電板,借鑒輕質多相電磁耦合線圈設計理念,能夠提供高達100千瓦的高效輸電性能,滿足電動汽車能源需求。接收線圈布置于現代Kona電動車底部,而發射器則位于直徑14英寸、高5英寸的穩定平衡位置。
    的頭像 發表于 03-21 11:24 ?916次閱讀

    Cognizant成立高級人工智能實驗室

    近日,全球領先的IT解決方案提供商Cognizant宣布在舊金山成立高級人工智能(AI實驗室。該實驗室的成立標志著Cognizant在人工智能領域的進一步深耕,旨在通過前沿技術和創新應用,推動人工智能技術的快速發展和應用落地。
    的頭像 發表于 03-11 10:36 ?595次閱讀

    上海AI實驗室發布新一代書生·視覺大模型

    近日,上海人工智能實驗室(上海AI實驗室)聯手多所知名高校及科技公司共同研發出新一代書生·視覺大模型(InternVL)。
    的頭像 發表于 02-04 11:25 ?1100次閱讀

    微軟和美國實驗室利用人工智能加速尋找新型電池材料

    微軟公司日前宣布,正在與美國一家頂尖的國家實驗室緊密合作,共同研發一種具有劃時代意義的新材料。通過結合人工智能技術,該材料能顯著減少生產電池所需的鋰,降幅高達70%。
    的頭像 發表于 01-16 15:24 ?700次閱讀
    主站蜘蛛池模板: 777福彩社区| 亚洲大片免费看| 网址在线观看你懂我意思吧免费的| 丝袜诱惑qvod| 亚洲高清国产品国语在线观看| 亚洲精品伊人久久久久| 中文字幕乱码一区AV久久| 99久久精品免费看国产一区二区三区| videossexo乌克兰| 国产精品AV无码免费播放| 精品第一国产综合精品蜜芽| 毛片手机在线观看| 日产久久视频| 亚洲精品久久久久中文字幕二区| 一个人在线观看免费高清视频| 60老妇性xxxxhd| 国产成人免费视频| 久久精品国产亚洲精品2020| 欧美高清一区二区三| 婷婷久久无码欧美人妻| 影音先锋电影资源av| 草莓视频在线播放视频| 国产中文视频| 欧美多人群p刺激交换电影| 无人区乱码1区2区3区网站 | 亚洲国产第一| 97久久久久| 国产午夜精品美女免费大片| 老司机午夜影院味味| 色网址在线观看| 在线播放免费人成视频| 多肉np一女多男高h爽文现代| 久久精品国产亚洲AV影院| 色即是空之甜性涩爱| 在教室伦流澡到高潮H免费视频| 波多久久亚洲精品AV无码| 久久4k岛国高清一区二区| 日本视频中文字幕一区二区 | 小莹的性荡生活45章| 97精品在线观看| 京香在线观看|