色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

奇異摩爾賦能萬卡集群互聯

奇異摩爾 ? 來源:奇異摩爾 ? 2024-09-19 13:03 ? 次閱讀

近日,IntelAMD博通(Broadcom)、思科(Cisco)、Google、惠普(Hewlett Packard Enterprise,HPE)、Meta和微軟(Microsoft)在內的八家公司宣布他們已經為人工智能數據中心網絡制定了新的互聯技術UALink(Ultra Accelerator Link),以打破英偉達NVLink技術壟斷的消息受到了廣泛的關注。

“本期奇說芯語Kiwi Talks 將從萬卡集群大模型算力需求的挑戰說起,來解讀這場軍備賽的背后原理…”

智算網絡催生萬卡集群

隨著大模型的持續爆發,其對算力的需求也在迅猛增長,這促使算力集群不斷向萬卡以上的規模演進。這一趨勢不僅代表著計算能力的飛躍,也對網絡提出了前所未有的超高要求。

萬卡集群是指由一萬張及以上的加速卡(包括GPU、TPU及其他專用AI加速芯片)組成的高性能計算系統,主要用于加速人工智能模型的訓練和推理過程。這種集群的構建旨在解決大模型訓練對算力需求的巨大增長問題,尤其是現在模型參數量從百億級、千億級邁向萬億級。大模型的訓練和推理任務需要海量的計算資源和高效的網絡連接。

萬卡級別的算力集群意味著將有數以萬計的高性能計算節點協同工作,它們之間的數據傳輸和同步必須達到毫秒級甚至微秒級的延遲,以確保模型訓練的高效性和準確性。首先,大模型訓練對于GPU之間的互聯通信要求極高,無論是機內GPU的通信還是服務器之間的GPU通信。特別是在模型并行和數據并行等模式下,通信數據量更是達到了百GB級別。因此,網絡必須支持高速互聯協議,并且能夠提供足夠的單端口帶寬和總帶寬。

我們知道PCIe(Peripheral Component Interconnect Express):它是一種計算機總線標準,用于在計算機內部連接各種設備和組件(例如顯卡、存儲設備、擴展卡等)。PCIe接口以串行方式傳輸數據,具有較高的通信帶寬,適用于連接各種設備。然而,由于其基于總線結構,同時連接多個設備時可能會受到帶寬的限制受限于帶寬、延遲、數據傳輸效率,已成為大規模計算集群的互聯瓶頸。

英偉達NVLink的無損網絡護城河

英偉達的NVLink是其開發并推出的一種總線及其通信協議。NVLink采用點對點結構、串列傳輸,用于中央處理器CPU)與圖形處理器(GPU)之間的連接,也可用于多個圖形處理器之間的相互連接。與PCI Express不同,一個設備可以包含多個NVLink,并且設備之間采用網格網絡而非中心集線器方式進行通信。該協議于2014年3月首次發布,采用專有的高速信號互連技術(NVHS)。目前NVLink已經升級到5.0版本。第五代 NVLink 大幅提高了大型多 GPU 系統的可擴展性。單個 NVIDIA Blackwell Tensor Core GPU 支持多達 18 個 NVLink 100 GB/s 連接,總帶寬可達 1.8 TB/s,比上一代產品提高了兩倍,是 PCIe 5.0 帶寬的 14 倍之多。

NVLink 就是這種“多節點無損網絡”的代表,由一個強大的軟件協議組成,通常通過印在計算機板上的多對導線實現,可以讓處理器以極高的速度收發共享內存池中的數據。NVLink 設計的主要設計目的,就是突破PCIe的屏障,達成GPU-GPU及CPU-GPU的片間高效數據交互。

NVLink雖擁有優秀的性能,但私有協議無法兼容不同來源的產品,這樣的封閉生態已成為行業發展掣肘。受到巨大的需求推動,以及為抵抗這種市場擠壓 ,AMD、谷歌、微軟、英特爾(Intel)、博通(Broadcom)、思科(Cisco)構成聯盟建立一個開放的行業互聯標準即UALink。UALink將使系統OEM、IT專業人員和系統集成商能夠為其人工智能連接數據中心創建一條更易于集成、更具靈活性和可擴展性的途徑。

據官方消息,UALink 1.0規范支持連接多達1024個AI加速器,并允許在一個計算集群(Pod)內,讓接入的GPU等加速器附帶的內存之間實現直接加載和存儲。

奇異摩爾賦能萬卡集群互聯

目前包括各大芯片廠商以及生態內的服務器廠商開始不斷提及甚至對標英偉達NVLink,都想要打破其所造的護城河。整個行業生態包括奇異摩爾在內的企業正在積極探索如何解決滿足集群通信間通訊,片間互聯的高效互聯的解決方案。

目前,奇異摩爾基于自身的互聯技術優勢,較早布局IO Die、Base Die等高性能互聯芯粒,并基于Kiwi-Link統一互聯架構,提供涵蓋集群間、片間、Die間的全鏈路高性能互聯解決方案

GPU片間互聯

奇異摩爾的高性能網絡加速芯粒 – Kiwi NDSA,內建RoCE V2高性能 RDMA (Remote Direct Memory Access) 和數十種卸載/加速引擎,可作為獨立芯粒應用于GPU的傳輸加速器。奇異摩爾自研的全球首創GPU Link Chiplet “NDSA-G2G”,通過RDMA和D2D技術,在芯片間搭建了高速數據交換網絡,可實現近TB/s的超高速數據傳輸,其性能達到全球領先水平,滿足AI芯片對于片間交換不斷增長的需求。

集群間通信

奇異摩爾 Kiwi NDSA SNIC是全球首款支持800G帶寬的RDMA NIC產品,具備極高的集群擴展能力,可以大幅提升集群節點間的交互效率,使得更大規模的集群設計成為可能。除帶寬升級到800G之外,延時也降至納秒級,并支持數十GB的超大規模數據包,性能媲美目前全球標桿ASIC產品。

業界紛紛提出集群通訊互聯的重要性

中國移動研究院網絡與IT技術研究所主任研究員陳佳媛在近期公開演講中提及必須突破GPU卡間互聯技術瓶頸,提高卡間互聯帶寬,提升端口數量以滿足集群算力縱向擴展升級需求;低延遲通信,減少GPU通信跳數,優化數據傳輸路徑。 新華三集團高級副總裁、云與計算存儲產品線總裁徐潤安此前也談到算力互聯。在他看來,過去,大家的目標可能是做更強算力的單顆芯片,現在會從另一個角度努力,怎樣將芯片做成更大集群,同時使得集群的通信效果更高,集群的處理能力更強;

浪潮信息高級副總裁劉軍發表的觀點是,實現更大的算力已經不在芯片,而是在算法層面做創新,比如怎么把算力分布到系統層面上,怎么解決卡間互聯問題,怎么讓更多的GPU高效協同。

寫在最后,數據中心和算力集群是AI的核心,網絡則是它的命脈,它們共同構筑了AI大模型底層網絡基礎設施,實現了數據和智能的無縫傳遞。然而AI芯片性能及軟件生態存在的差距,萬卡集群建設存在芯片間、卡之間、集群間的互聯問題,這些都需要更開放的平臺去持續地解決。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 英偉達
    +關注

    關注

    22

    文章

    3771

    瀏覽量

    90997
  • 算力
    +關注

    關注

    1

    文章

    966

    瀏覽量

    14796
  • 奇異摩爾
    +關注

    關注

    0

    文章

    49

    瀏覽量

    3400
  • 大模型
    +關注

    關注

    2

    文章

    2427

    瀏覽量

    2648

原文標題:Kiwi Talks | 智算網絡催生萬卡集群,all in通信互聯軍備賽

文章出處:【微信號:奇異摩爾,微信公眾號:奇異摩爾】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    國產千GPU集群完成大模型訓練測試,極具高兼容性和穩定性

    集群的方式成為了必然的選擇。 ? 2023年底,摩爾線程推出首個全國產千千億模型訓練平臺“摩爾線程KUAE智算中心”。
    的頭像 發表于 06-11 07:50 ?3259次閱讀
    國產千<b class='flag-5'>卡</b>GPU<b class='flag-5'>集群</b>完成大模型訓練測試,極具高兼容性和穩定性

    依托Chiplet&amp;高性能RDMA,奇異摩爾斬獲全國顛覆性技術創新大賽(未來制造領域賽)優勝獎

    ? ? 近日,第十三屆中國創新創業大賽顛覆性技術創新大賽(未來制造領域賽)獲獎結果出爐,奇異摩爾參賽項目【基于Chiplet+RDMA技術的下一代AI
    的頭像 發表于 12-19 09:39 ?252次閱讀
    依托Chiplet&amp;高性能RDMA,<b class='flag-5'>奇異</b><b class='flag-5'>摩爾</b>斬獲全國顛覆性技術創新大賽(未來制造領域賽)優勝獎

    奇異摩爾分享計算芯片Scale Up片間互聯新途徑

    開放數據中心委員會ODCC冬季全員會議于12月4日-6日在春暖花開的昆明舉行。奇異摩爾首席系統架構師朱琛作為網絡工作組ETH-X超節點項目的核心成員分享了AI Networking Scale Up
    的頭像 發表于 12-09 09:36 ?294次閱讀
    <b class='flag-5'>奇異</b><b class='flag-5'>摩爾</b>分享計算芯片Scale Up片間<b class='flag-5'>互聯</b>新途徑

    回顧:奇異摩爾@ ISCAS 2024 :聚焦互聯技術與創新實踐

    )電路與系統國際研討會在新加坡召開。ISCAS 是IEEE電路與系統學會(Circuits and Systems, CAS)下規模最大的旗艦會議。 奇異摩爾模擬設計技術專家王彧博士,作為IEEE
    的頭像 發表于 11-05 18:29 ?473次閱讀
    回顧:<b class='flag-5'>奇異</b><b class='flag-5'>摩爾</b>@ ISCAS 2024 :聚焦<b class='flag-5'>互聯</b>技術與創新實踐

    智原科技與奇異摩爾2.5D封裝平臺量產

    近日,ASIC設計服務暨IP研發銷售廠商智原科技(Faraday Technology Corporation)與AI網絡全棧式互聯產品及解決方案提供商奇異摩爾宣布,雙方共同合作的2.5D封裝平臺已成功邁入量產階段。
    的頭像 發表于 10-14 16:43 ?402次閱讀

    摩爾線程與羽人科技完成大語言模型訓練測試

    近日,摩爾線程與羽人科技攜手宣布,雙方已成功實現夸娥(KUAE)千智算集群與羽人系列模型解決方案的訓練兼容適配。在本次測試中,羽人科技通過摩爾線程夸娥千
    的頭像 發表于 08-27 16:19 ?528次閱讀

    從千集群卡到集群,燧原科技打造更好的AI算力底座

    :WAIC 2024)上,不僅有國內各大模型廠商同場競技,也有豐富的算力基礎設施展示,其中包括專注人工智能領域云端算力產品的燧原科技。 ? 燧原科技展臺 從千集群
    的頭像 發表于 07-07 09:45 ?2304次閱讀
    從千<b class='flag-5'>卡</b><b class='flag-5'>集群</b>卡到<b class='flag-5'>萬</b><b class='flag-5'>卡</b><b class='flag-5'>集群</b>,燧原科技打造更好的AI算力底座

    奇異摩爾上海總部進駐上海浦東科海大樓

    。 三年風雨兼程? 三年春華秋實 奇異摩爾于2021年在上海創立,依托于Chiplet和RDMA高性能網絡互聯技術,旨在打造了一整套全棧式AI智算集群
    的頭像 發表于 07-01 18:57 ?2512次閱讀
    <b class='flag-5'>奇異</b><b class='flag-5'>摩爾</b>上海總部進駐上海浦東科海大樓

    集群解決大模型訓算力需求,建設面臨哪些挑戰

    ? 電子發燒友網報道(文/李彎彎)集群是指由一萬張及以上的加速(包括GPU、TPU及其他專用AI加速芯片)組成的高性能計算系統,主要用于加速人工智能模型的訓練和推理過程。這種
    的頭像 發表于 06-02 06:18 ?4697次閱讀
    <b class='flag-5'>萬</b><b class='flag-5'>卡</b><b class='flag-5'>集群</b>解決大模型訓算力需求,建設面臨哪些挑戰

    國產GPU可替代!摩爾線程千集群點亮新成就

    摩爾線程、無問芯穹聯合宣布,雙方已經正式完成MT-infini-3B 3B(30億參數)規模大模型的實訓,基于摩爾線程國產全功能GPU MTT S4000組成的千集群,以及無問芯穹的
    的頭像 發表于 05-29 11:27 ?725次閱讀
    國產GPU可替代!<b class='flag-5'>摩爾</b>線程千<b class='flag-5'>卡</b><b class='flag-5'>集群</b>點亮新成就

    摩爾線程千智算集群與滴普企業大模型已完成訓練及推理適配

    近日,摩爾線程與國內領先的數據智能服務商滴普科技共同宣布,摩爾線程夸娥(KUAE)千智算集群與滴普企業大模型Deepexi已完成訓練及推理適配。
    的頭像 發表于 05-29 10:28 ?468次閱讀
    <b class='flag-5'>摩爾</b>線程千<b class='flag-5'>卡</b>智算<b class='flag-5'>集群</b>與滴普企業大模型已完成訓練及推理適配

    摩爾線程、無問芯穹合作完成國產全功能GPU千集群

    據介紹,此項訓練歷時13.2天,過程穩定而有序,集群整體運行穩定性達到了100%。相較于單機訓練,千集群的擴展效率提升了超過90%。
    的頭像 發表于 05-27 14:40 ?622次閱讀

    摩爾線程與無問芯穹宣布完成基于GPU千集群的3B規模大模型實訓

    摩爾線程聯合無問芯穹宣布,雙方已在本周正式完成基于國產全功能GPU千集群的3B規模大模型實訓。
    的頭像 發表于 05-27 10:44 ?476次閱讀
    <b class='flag-5'>摩爾</b>線程與無問芯穹宣布完成基于GPU千<b class='flag-5'>卡</b><b class='flag-5'>集群</b>的3B規模大模型實訓

    奇異摩爾攜手SEMiBAY Talk 邀您暢談互聯與計算

    2024年5月25日(本周六)19:30,由深圳市半導體與集成電路產業聯盟(SICA)主辦的 SEMiBAY Talk“Chiplet 與先進封裝技術和市場趨勢”將在線上舉行。奇異摩爾產品及解決方案
    的頭像 發表于 05-20 18:31 ?982次閱讀
    <b class='flag-5'>奇異</b><b class='flag-5'>摩爾</b>攜手SEMiBAY Talk 邀您暢談<b class='flag-5'>互聯</b>與計算

    中國移動將商用三個自主可控集群

    中國移動在近日舉辦的2024年算力網絡大會上宣布了重要計劃。據中國移動副總經理高同慶透露,公司今年將正式商用三個具有完全自主控制權的集群,分別位于哈爾濱、呼和浩特和貴陽。這三個集群
    的頭像 發表于 05-06 10:21 ?570次閱讀
    主站蜘蛛池模板: 在线视频免费国产成人| 日本高清加勒比| 久久日本精品在线热| 蜜桃久久久亚洲精品成人| 亲胸吻胸添奶头GIF动态图免费 | 热久久国产欧美一区二区精品| 日本美女抠逼| 夜色帮首页| 大咪咪dvd| 久久深夜视频| 深夜释放自己污在线看| 在线播放无码字幕亚洲| 国产3级在线| 欧美123区| 曰批国产精品视频免费观看| 国产VA精品午夜福利视频| 美女被触手注入精子强制受孕漫画 | 伊人久久大香线蕉综合色啪| 在线亚洲色拍偷拍在线视频| 超碰caoporon最新视频| 国产亚洲精品久久久久久久软件| 龙岩综合频道| 性一交一乱一色一视频| 99在线这精品视频| 精品免费久久久久久成人影院| 青青草伊人久久| 在线精品一卡乱码免费| 国产成人 免费观看| 欧洲最大无人区免费高清完整版| 亚洲视频第二页| 国产老头与老太hd| 日本xxx护士与黑人| 91热久久免费频精品99欧美| 极品少妇小泬50PTHEPON| 丝瓜涩涩屋黄瓜香蕉丝瓜| YELLOW在线观看高清视频免费| 久久综合久久鬼| 在线观看亚洲AV无码每日更新| 韩国免费啪啪漫画无遮拦健身教练| 日韩精品欧美在线视频在线| 7756短视频|