色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

阿里云與 NVIDIA 合作測試以太網絡新架構

NVIDIA英偉達 ? 來源:未知 ? 2023-11-01 09:30 ? 次閱讀

全新 NVIDIA Spectrum-X 網絡平臺構筑阿里生成式 AI 云底座



隨著生成式 AI 的熱潮席卷全球,用于訓練生成式 AI 的大型高性能網絡基礎設施開始受到客戶和行業的關注。這不僅僅是因為巨大的市場潛力,更因為生成式 AI 應用對當前網絡的技術與產品帶來的巨大挑戰。


由于生成式 AI 訓練任務的特性,其對網絡的要求與傳統的 DC 網絡在多方面存在差異。主要體現在:


  • 性能至上,對于網絡帶寬及通信效率的要求高,需要實現從 GPU 到網絡,再到其它 GPU 的端到端帶寬平衡,從而達到最大化集群訓練性能的目的。

  • AI 網絡流量并發性高和突發性流量多,對于數據的完整性要求極高,依賴于 RDMA 轉發保證帶寬最大化和數據的完整性,降低對 CPU 資源消耗。

  • 模型并行加數據并行共存的通信機制導致對于網絡時延敏感,網絡中的任何額外的時延都可能影響數以百計的 GPU 之間的通信效率。

  • 需要無收斂的網絡拓撲保證各種通信場景下的網絡帶寬沒有瓶頸。


由于傳統的網絡解決方案無法滿足這些需求,NVIDIA 依靠多年在 AI 和高速通信鄰域的積累,推出了 Spectrum-X 以太網解決方案,以推動以太網技術可以更好的適配生成式 AI 基礎設施的要求。


NVIDIA Spectrum-X 是首個專為基于以太網的 AI 云提高性能和效率而設計的平臺。NVIDIA Spectrum-X 依托于 NVIDIA Spectrum-4 以太網交換機和 NVIDIA BlueField-3 DPU 的緊密結合,專為 AI 工作負載構建了端到端的創新網絡平臺,大幅提升了以太網在大規模、可擴展環境中的通信效率,并在多租戶環境中實現了一致的、可預測的性能,提高了生成式 AI 云的性能和能效。NVIDIA Spectrum-X 網絡平臺還包括 Cumulus Linux、NetQ 、Air 和 DOCA 加速軟件等,以及 NVIDIA 的 LinkX 系列線纜和光模塊產品,共同助力該網絡平臺實現絕佳的性能。


NVIDIA Spectrum-X 網絡平臺集成了 NVIDIA Spectrum-4 以太網交換機、NVIDIA BlueField-3 DPU、NVIDIA LinkX 線纜及加速軟件和 SDK,通過無損以太網的端到端動態路由、基于可編程擁塞控制的性能隔離技術等先進的 RoCE 擴展功能,構建了一個專為 AI 云而優化和加速的端到端 高性能 400GbE 以太網絡。測試顯示,與傳統以太網相比,采用 NVIDIA Spectrum-X 網絡平臺可將大規模 AI 工作負載的性能提高到 1.7 倍,并將網絡的有效通信帶寬提升到 1.6 倍。


NVIDIA Spectrum-X 網絡平臺,實現了 GPU 到 GPU 直接的端到端加速和優化,大幅減少了大規模生成式 AI 模型的運行時間,提升了 GPU 的效率,優化了 AI 平臺的總體擁有成本(TCO)和降低了基礎設施的整體功耗。同時,它還具有高度的通用性,有力的支撐了各種生成式 AI 應用,由于它也是標準的以太網,實現了與已有的基于以太網堆棧的云架構和云服務互通。


阿里云作為全球領先的云供應商,擁有巨型的通用計算平臺。同時,阿里云也持續向加速計算領域擴張,建成并持續擴張以 “PAI 靈駿” 算力服務為代表大型的 GPU 集群。阿里云基礎設施網絡團隊從 2017 年開始構建端網融合的可預期高性能 RDMA 網絡架構,過去幾年已經在高性能存儲領域實現了大規模部署,目前正在大規模 AI 計算領域持續創新迭代和規模部署,以適配 AI 計算對高性能網絡的訴求。阿里云也充分認識到技術創新對以太網方案持續支持高性能網絡,尤其是生成式 AI 基礎設施的重要性。為此,阿里云聯合 NVIDIA 對 Spectrum-X 解決方案進行測試,以評估新技術對高性能網絡的適應能力。


測試的主要內容和結果

阿里云測試環境配置


測試環境使用了 2 臺 Spine 交換機,4 臺 ToR 交換機,16 臺 HGX GPU 服務器并配置了 NVIDIA BlueField-3 DPU,基于NVIDIA 51.2T Spectrum-4 交換芯片的 SN5600,以太網交換機,支持 128*400G 或者 64*800G 端口。每臺 GPU 服務器配置 8 張 BlueField-3 DPU,每 4 臺 GPU 服務器為一組連接到一臺 ToR 交換機,共 4 組連接到 4 臺 ToR 交換機。ToR 交換機通過 200G 網絡連接到 BlueField-3 DPU,4 臺 ToR 交換機通過 2 臺 Spine 交換機連接在一起,構成無阻塞胖樹網絡。



主要的測試內容


這些測試由多個級別的工作負載組成,從簡單到復雜:

  • RDMA 基準性能測試,覆蓋帶寬和延遲。

  • 孤立場景下的 All to All 和 All Reduce 集合通信測試,專注于 NCCL 性能基準。

  • 在共享資源和有背景噪聲環境下的性能測試。

  • 故障場景的測試。



測試結果顯示,由于使用了端到端的逐包負載均衡優化技術(Adaptive Routing)和零配置 RoCE 擁塞控制(ZTR CC)使得網絡利用率顯著提升,并顯著減少由于網絡擁塞和 In-Cast 問題帶來的時延和抖動。網絡帶寬利用率在各種測試場景下均可超過 90%。這種逐包負載均衡技術也可以對多種故障情況(本端和遠端)做出響應,合理的利用網絡內的帶寬資源。在真實訓練任務的測試過程中,Spectrum-X 可以降低 20% 以上的訓練時間。在獲得這一切收益的同時,網絡的配置工作量大大降低,運維人員不再需要進行復雜的配置和頻繁的調優工作。


這些測試結果表明 NVIDIA Spectrum-X 加速網絡平臺的突破性技術可大幅提升大規模生成式 AI 工作負載的性能,并大幅縮短生成式 AI 模型的運行時間。通過采用 NVIDIA Spectrum-X 網絡平臺,客戶可進一步為千行百業的客戶提供極具性能和成本優勢的生成式 AI 云服務,將 AI 通用大模型和行業大模型賦能和融合各種應用場景。NVIDIA 和阿里云的開發人員將基于 NVIDIA Spectrum-X 網絡平臺的加速軟件和 SDK 進一步在虛擬化、定制化可編程擁塞控制、遙測、快速故障響應等方面展開合作,推動這一新解決方案的進一步發展和應用。


針對這一聯合測試,阿里云基礎設施網絡研發事業部總經理蔡德忠表示:“高性能網絡技術是 AI 計算 Scaling Law 的關鍵所在,這個領域需要持續不斷的創新迭代,阿里云始終堅持網絡的開放性,也是網絡開源生態的領導者和積極貢獻者,阿里云與 NVIDIA 在 AI 計算和高性能存儲領域合作多年,將持續探索創新基于 Open Ethernet 的高性能網絡方案,助力 AI 計算集群的大規模高效擴展。”


NVIDIA 網絡高級副總裁 Gilad Shainer 表示:“生成式 AI(Generative AI)是面向下一代業務需求的典型代表,為了支撐成千上萬的用戶的需求,生成式 AI 云需要最先進及最可靠的網絡基礎架構滿足各種 AI 業務的平滑增長。阿里云和 NVIDIA 在 Spectrum-X 以太網平臺上的策略合作,可以充分利用 Spectrum-X 的先進路由技術和云上業務性能隔離技術,使阿里云及其廣大用戶可以盡情享受生成式 AI 的服務。”


更多內容,敬請查閱 NVIDIA Spectrum-X 網絡平臺架構白皮書,進一步了解NVIDIA Spectrum-X 網絡平臺。




更多精彩內容

適用于數據中心和 AI 時代的網絡
借助 NVIDIA Spectrum 以太網最大限度地提高存儲網絡性能
使用 NVIDIA Spectrum-X 網絡平臺加速生成式 AI 工作負載


原文標題:阿里云與 NVIDIA 合作測試以太網絡新架構

文章出處:【微信公眾號:NVIDIA英偉達】歡迎添加關注!文章轉載請注明出處。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 英偉達
    +關注

    關注

    22

    文章

    3780

    瀏覽量

    91185

原文標題:阿里云與 NVIDIA 合作測試以太網絡新架構

文章出處:【微信號:NVIDIA_China,微信公眾號:NVIDIA英偉達】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    面向智能汽車的以太網開發與測試解決方案

    通過參與多個實踐經驗,經緯恒潤已經建立了一套高質量且本土化的設計與測試一體化解決方案,為整車網絡架構提供可靠的保障。此外,隨著智能化、網聯化和電子電氣架構的變革,經緯恒潤積極擴展業務范
    的頭像 發表于 12-12 15:24 ?591次閱讀
    面向智能汽車的<b class='flag-5'>以太網</b>開發與<b class='flag-5'>測試</b>解決方案

    TOSUN 車載以太網仿真測試解決方案

    TOSUN車載以太網仿真測試解決方案隨著自動駕駛、車聯網和智能化系統的廣泛應用,車載電子組件和傳感器的數量與復雜性都在持續增加,為了滿足這些更為復雜性的需求,車載以太網作為一種新型車載網絡
    的頭像 發表于 12-07 01:07 ?455次閱讀
    TOSUN 車載<b class='flag-5'>以太網</b>仿真<b class='flag-5'>測試</b>解決方案

    印尼GOTO、騰訊阿里簽署合作協議

    近日,印尼知名科技公司GOTO與中國的騰訊阿里正式簽署了合作協議。此次攜手合作,旨在共同推動印尼數字經濟的發展,為當地企業提供更加全面
    的頭像 發表于 11-11 14:32 ?289次閱讀

    以太網速率對網絡性能的影響

    以太網作為最廣泛使用的局域網技術之一,其速率的提高對網絡性能有著直接的影響。從最初的10Mbps發展到今天的100Gbps甚至更高,以太網速率的提升帶來了更快的數據傳輸速度和更高的網絡
    的頭像 發表于 11-08 09:11 ?382次閱讀

    NVIDIA 以太網加速 xAI 構建的全球最大 AI 超級計算機

    市的 Colossus 超級計算機集群達到了 10 萬顆 NVIDIA? Hopper? GPU 的巨大規模。該集群使用了 NVIDIA Spectrum-X? 以太網網絡平臺,該平臺是專為多租戶
    發表于 10-30 09:33 ?158次閱讀
    <b class='flag-5'>NVIDIA</b> <b class='flag-5'>以太網</b>加速 xAI 構建的全球最大 AI 超級計算機

    車載以太網的整體架構解析

    自2011年OPEN聯盟成立以來,其成立的技術委員會致力于制定統一的通信方式的物理層、協議一致性和互操作性等規范。在IEEE、OPEN 聯盟和AVNU等組織的共同發展與合作下, 規范了車載以太網符合
    的頭像 發表于 10-22 16:42 ?546次閱讀
    車載<b class='flag-5'>以太網</b>的整體<b class='flag-5'>架構</b>解析

    NVIDIA Spectrum-X 以太網網絡平臺已被業界廣泛使用

    服務提供商、GPU 提供商和企業用戶紛紛采用 Spectrum-X;NVIDIA 網絡通過廣大系統制造商進入各個市場。 ? NVIDIA
    的頭像 發表于 06-03 18:20 ?979次閱讀

    什么是以太網交換機中的網絡延遲

    網絡延遲一詞表示網絡上數據通信的延遲。以太網交換機中的網絡延遲或以太網交換機延遲表示以太網數據包
    的頭像 發表于 05-28 10:13 ?518次閱讀

    車載以太網交換機的功能及測試方法

    車載以太網的通信架構和關鍵技術參考傳統以太網,采用點對點的通信方式,網絡中節點超過兩個時需要使用交換機轉發數據。
    發表于 04-11 09:57 ?469次閱讀
    車載<b class='flag-5'>以太網</b>交換機的功能及<b class='flag-5'>測試</b>方法

    工業以太網的基本原理及優勢

    工業以太網,作為現代工業通信的基石,正逐漸改變著傳統工業網絡的格局。它以其高效、靈活和可靠的特點,在工業自動化領域得到了廣泛應用。本文將從工業以太網的基本原理出發,深入探討其優勢及其在工業領域
    的頭像 發表于 03-25 14:40 ?716次閱讀

    CANopen以太網網關怎么用?

    CANopen以太網網關怎么用? CANopen以太網網關是一種連接CANopen總線和以太網的設備,它提供了在CANopen網絡以太網
    的頭像 發表于 02-02 16:59 ?3368次閱讀

    評測沃比得 W1000K千兆以太網測試儀性能

    沃比得 W1000K千兆以太網測試儀是一款手持式、掌上型10M/100M/1000M以太網測試,可用于以太網的安裝、開通和維護周期。設計小巧
    的頭像 發表于 01-30 13:16 ?484次閱讀

    虹科分享丨汽車技術的未來:Netropy如何測試和確保汽車以太網的性能

    在汽車行業持續創新的今天,汽車以太網的性能和可靠性成為了關鍵焦點。如何測試和確保汽車以太網的性能?我們來看看BroadR-Reach技術如何革新車載網絡,并通過綜合性能
    的頭像 發表于 01-25 10:18 ?395次閱讀

    汽車技術的未來:Netropy如何測試和確保汽車以太網的性能

    在汽車行業持續創新的今天,汽車以太網的性能和可靠性成為了關鍵焦點。如何測試和確保汽車以太網的性能?我們來看看BroadR-Reach技術如何革新車載網絡,并通過綜合性能
    的頭像 發表于 01-20 08:04 ?551次閱讀
    汽車技術的未來:Netropy如何<b class='flag-5'>測試</b>和確保汽車<b class='flag-5'>以太網</b>的性能

    車載以太網靜態架構介紹

    AutoSAR是一種開放的、標準化的汽車電子軟件架構,旨在提高汽車電子系統的研發效率和質量。車載以太網作為一種高速、可靠的通信技術,已經成為現代汽車電子系統的關鍵技術之一。在AutoSAR中,車載
    的頭像 發表于 01-19 18:00 ?1072次閱讀
    車載<b class='flag-5'>以太網</b>靜態<b class='flag-5'>架構</b>介紹
    主站蜘蛛池模板: 狠狠色狠狠色综合曰曰| 午夜成a人片在线观看| 天天澡夜夜澡人人澡| 竹菊精品久久久久久久99蜜桃| 91素人约啪| 免费精品一区二区三区AA片| a级精品九九九大片免费看| 18岁男人女人插孔| 纯肉无码AV在线看免费看| 2018国产天天弄谢| 中文字幕无线观看不卡网站| 亚洲欲色欲色XXXXX在线AV| 亚洲无遮挡无码A片在线| 亚洲色欲啪啪久久WWW综合网| 亚洲爱视频| 亚洲欧美中文在线一区| 亚洲幼女网| 2021乱码精品公司| 97在线视频免费| 拔萝卜电视剧高清免费| 动漫美女和男人下载| 国产精品嫩草影院在线观看免费 | 国产亚洲精品久久久久久一区二区| qovd伦理| 亚洲免费久久| 最新快播网站| 91情国产l精品国产亚洲区| 99re热有精品国产| 波多久久亚洲精品AV无码| 纯肉高H啪短文合集| 国产精品免费一区二区三区视频 | 精品久久电影网| 麻豆官网入口| 欧美内射深插日本少妇| 日本久久久久亚洲中字幕| 天天狠狠弄夜夜狠狠躁·太爽了 | 国产人妻麻豆蜜桃色在线| 娇妻让壮男弄的流白浆| 乱码中字在线观看一二区| 青柠视频在线观看高清HD| 双性h浪荡受bl|