色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

鄭緯民院士:內存型長記憶存儲以存換算是AI推理新趨勢

要長高 ? 2024-11-01 16:03 ? 次閱讀

在10月29日由中國電子工業標準化技術協會舉辦的數據存儲專業委員會(簡稱“數據存儲專委會”)成立大會上,匯聚了產業界代表、專委會成員及多位院士專家,共逾百人,共同探討了數據存儲產業的發展,并見證了數據存儲專業委員會的正式成立。會上,中國工程院院士、數據存儲專委會名譽會長鄭緯民發表了題為“AI存儲:人工智能大模型的基石”的主旨演講。

鄭緯民院士指出,人工智能進入大模型時代展現出兩大特征:一是基礎大模型邁入多模態時代,實現了從單一文本到圖片、視頻等多模態信息的綜合應用;二是大模型已在金融、醫療、智能制造等多個領域得到實際應用。

針對大模型的四個關鍵環節,鄭緯民院士詳細闡述了存儲在大模型訓練和推理應用中所面臨的挑戰及相關技術:

首先,數據獲取階段,大模型訓練需要海量的原始數據,這些數據需被存儲設備妥善保存。隨著大模型從單模態向多模態發展,產生了數以百億計的小文件,這對文件系統的目錄擴展性、讀寫速度以及存儲的低延遲和高可擴展性提出了更高要求。

其次,數據預處理階段,由于原始數據質量參差不齊,存在大量重復和低質量數據,因此需要進行預處理以提升數據質量。以ChatGPT4級別的大模型為例,其訓練過程可能需要1萬塊A100顯卡耗時11個月,其中數據預處理可能占據一半以上的時間,這與數據存儲的性能密切相關。

再次,模型訓練階段,大規模訓練系統(如10萬塊顯卡組成的系統)的可靠性難以保證,頻繁出現故障,導致集群可用度低下。為了快速恢復訓練,需要依賴高性能的存儲系統來快速讀取CheckPoint數據。華為與清華大學MADSys實驗室聯合開發的高性能AI存儲系統在此方面表現出色,曾在國際權威機構MLPerf Storage基準評測中獲得第一名,性能密度是第二名的兩倍。

最后,模型推理階段,這是與AI應用最直接相關的環節。更高效的人工智能需要處理更多數據、使用更大模型以及更長的上下文窗口,但這同時也帶來了極重的推理負載。模型參數以及推理過程中產生的KV-Cache需要巨大的存儲空間。為此,國內優秀的大模型應用Kimi與清華大學MADSys實驗室共同推出了Mooncake分離式推理架構,通過保存共享的KV-Cache,采用以存換算的策略大幅提升系統吞吐。

鄭緯民院士強調,模型推理過程是一個復雜的存儲系統工程,關鍵在于存儲容量大、傳輸速度快以及性價比高。清華大學MADSys實驗室聯合華為數據存儲、9#AISoft、阿里云、面壁、趨境等公司共同開發的高性能內存型長記憶存儲系統即將開源發布,該系統能夠實現大范圍全局共享與持久化KV-Cache,以存換算,共同構建大模型時代下的高性能內存型長記憶存儲系統生態。

最后,鄭緯民院士總結指出,AI存儲是人工智能大模型的基石,貫穿于大模型生命周期的每一個環節。通過以存強算、以存換算,先進的AI存儲能夠提升訓練集群的可用度,降低推理成本,提升用戶體驗。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 存儲
    +關注

    關注

    13

    文章

    4297

    瀏覽量

    85801
  • AI
    AI
    +關注

    關注

    87

    文章

    30734

    瀏覽量

    268893
  • 人工智能
    +關注

    關注

    1791

    文章

    47184

    瀏覽量

    238266
收藏 人收藏

    評論

    相關推薦

    AI驅動新型存儲器技術,國內新興存儲企業進階

    生成式AI對于算力、運力和力的需求與日俱增,如何打破“存儲墻”成為存儲行業面臨的挑戰與機會。從因AI訓練而爆紅的HBM,再到DDR5、PC
    發表于 10-16 08:10 ?940次閱讀
    <b class='flag-5'>AI</b>驅動新型<b class='flag-5'>存儲</b>器技術,國內新興<b class='flag-5'>存儲</b>企業進階

    蘇茨克維預測:推理AI將帶來不可預測性

    未來的人工智能將展現出類似人類的推理能力。 蘇茨克維強調,隨著AI推理能力的提升,事情將變得更加難以預測。他解釋說,推理能力的增強意味著AI
    的頭像 發表于 12-17 09:55 ?173次閱讀

    科技啟動首屆內計算創新大賽

    內計算作為一項打破“內存墻”“功耗墻”的顛覆性技術,消除了與算的界限,相比CPU或GPU能夠實現更高計算并行度、更大專用算力,達成數量級的能效提升。在AI加速落地的
    的頭像 發表于 11-21 10:44 ?231次閱讀

    華為發布數據通信未來技術趨勢報告

    近日,CCF中國網絡大會(CCF ChinaNet 2024)期間,由中國計算機學會主辦的“算網融合·數智賦能·發展新質生產力”主題論壇成功舉辦。論壇邀請了鄔江興、吳建平、、張宏科多位
    的頭像 發表于 11-18 11:28 ?389次閱讀

    王耀南院士AI大模型賦能人形機器人及未來趨勢

    研究現狀,關鍵技術賦能具身智能人形機器人,以及未來的發展趨勢與展望四個方面進行匯報。 王院士認為人工智能大模型推動人形機器人在感知、認知、思考、分析、判斷、推理、交互的智能自主作業方向發展。隨后
    的頭像 發表于 11-08 11:03 ?721次閱讀
    王耀南<b class='flag-5'>院士</b>:<b class='flag-5'>AI</b>大模型賦能人形機器人及未來<b class='flag-5'>趨勢</b>

    面向未來數據中心的存儲平臺技術挑戰與探索

    近日,中國計算機學會第十三期CCF秀湖會議在蘇州CCF業務總部&學術交流中心正式拉開帷幕。本次會議就“新應用與硬件驅動下的存儲技術創新”主題進行深入交流和探討。中國工程院院士、清華大學
    的頭像 發表于 11-06 10:43 ?218次閱讀

    AMD助力HyperAccel開發全新AI推理服務器

    HyperAccel 是一家成立于 2023 年 1 月的韓國初創企業,致力于開發 AI 推理專用半導體器件和硬件,最大限度提升推理工作負載的存儲
    的頭像 發表于 09-18 09:37 ?356次閱讀
    AMD助力HyperAccel開發全新<b class='flag-5'>AI</b><b class='flag-5'>推理</b>服務器

    智馭未來,AI拼才會贏—弘孟董事寄語工業富聯,拼搏共贏新篇章

    奧運會馬上就要開始,Fii工業富聯發布《弘孟董事致工業富聯全體同仁的一封信》,在全球AI競賽浪潮中,AI已經成為公司未來發展的核心驅動力,如何讓
    的頭像 發表于 07-14 08:33 ?429次閱讀
    智馭未來,<b class='flag-5'>AI</b>拼才會贏—<b class='flag-5'>鄭</b>弘孟董事<b class='flag-5'>長</b>寄語工業富聯,拼搏共贏新篇章

    AI浪潮下的十大消費者新趨勢

    人工智能已經風靡全球,當我們沉浸在AI技術為辦公與生活帶來的各種便利時,一些人也會質疑:AI 真的能為我們描繪出更美好的未來畫卷嗎? AI 賦能的十大消費者趨勢 愛立信消費者實驗室的最
    發表于 06-05 10:30 ?363次閱讀

    第十三期CCF秀湖會議:共話未來數據中心的存儲平臺技術挑戰與探索

    、清華大學教授,華中科技大學金海教授,清華大學舒繼武教授,浪潮存儲產品線總經理李輝等20余位專家出席會議。秀湖會議AC主席、CCF副理事
    的頭像 發表于 06-04 16:33 ?358次閱讀
    第十三期CCF秀湖會議:共話未來數據中心的<b class='flag-5'>存儲</b>平臺技術挑戰與探索

    英特爾助力京東云用CPU加速AI推理大模型構建數智化供應鏈

    英特爾助力京東云用CPU加速AI推理大模型構建數智化供應鏈
    的頭像 發表于 05-27 11:50 ?529次閱讀
    英特爾助力京東云用CPU加速<b class='flag-5'>AI</b><b class='flag-5'>推理</b>,<b class='flag-5'>以</b>大模型構建數智化供應鏈

    科技助力AI應用落地:WTMDK2101-ZT1評估板實地評測與性能揭秘

    計算: 近計算:在近計算中,計算單元與高速存儲單元(如高速緩存)緊密集成。這意味著處理器和高速存儲單元之間的距離很近,可以快速訪問數據并進行計算,減少了數據從
    發表于 05-16 16:38

    內計算WTM2101編譯工具鏈 資料

    內計算是突破物理極限的下一代算力技術- AIGC等人工智能新興產業的快速發展離不開算力,算力的基礎是人工智能芯片。 當前CPU/GPU在執行計算密集任務時需要將海量參數(ωij)從內存
    發表于 05-16 16:33

    如何看待半導體行業未來的新趨勢

    如何看待半導體行業未來的新趨勢
    的頭像 發表于 04-25 11:38 ?737次閱讀
    如何看待半導體行業未來的<b class='flag-5'>新趨勢</b>

    2024 開年CES,存儲芯片/模組應用新趨勢

    (電子發燒友網報道 文/黃晶晶)作為開年的消費電子產品風向標,2024年CES展如期而至。在此次展會上,不少存儲廠商帶來了新產品,電子發燒友網整理部分廠商的展示訊息,可以看到這些廠商已積極布局在AI
    的頭像 發表于 01-12 09:33 ?2366次閱讀
    2024 開年CES,<b class='flag-5'>存儲</b>芯片/模組應用<b class='flag-5'>新趨勢</b>
    主站蜘蛛池模板: 国产乱码伦人偷精品视频| 丰满艳妇亲伦| 国产精品俺来也在线观看| 黄色片中文| 皮皮在线精品亚洲| 亚洲国产系列一区二区三区| 11 13加污女qq看他下面| 高h肉文合集| 老师湿乎乎两半嫩| 日日日操操操| 最近日本字幕免费高清| 国产高清-国产av| 美国女孩毛片| 亚洲AV无码乱码A片无码蜜桃 | 99热只有这里有精品| 国产人妻XXXX精品HD电影| 男人桶爽女人| 亚洲色播永久网址大全| 吃奶摸下的激烈免费视频| 考好老师让你做一次H| 无码任你躁久久久久久久| 99国产精品成人免费视频| 狠狠爱亚洲五月婷婷av| 色四房播播| 99精品视频免费在线观看| 九九热这里都是精品| 日韩亚射吧| 99久久爱看免费观看| 九九久久国产精品大片| 无码国产欧美日韩精品| gogo免费在线观看| 看全色黄大色大片免费久黄久| 亚洲国产高清在线| 国产AV一区二区三区传媒| 亚洲1卡二卡3卡4卡新区在线| 性xxx在线观看| 亚洲AV无码影院在线播放| 99re这里只有精品国产| 花蝴蝶高清观看免费| 涩涩伊人久久无码欧美| 999视频精品全部免费观看|