遠程直接內存訪問（RDMA）作為超高速網絡內存訪問技術的領軍者，徹底顛覆了傳統程序對遠程計算節點內存資源的訪問模式。其卓越性能的核心在于巧妙地繞過了操作系統內核層（如套接字、TCP/IP協議棧）對數據傳輸的干預，實現了網絡通信范式的革新性躍遷。這一戰略性的架構優化有效地減輕了與內核操作相關的CPU開銷，使得數據可以直接從一個節點的網絡接口卡（NIC）內存讀寫至另一個節點，這種硬件設備在特定場景下也被稱為主機通道適配器（HCA）。

在硬件實現方面，RDMA技術主要依托三種關鍵技術手段得以具體實施：InfiniBand、RoCE和iWARP。其中，InfiniBand與RoCE兩種技術因其出色的性能表現及廣泛應用，已被前沿技術專家廣泛認可為行業主流選擇。通過這兩種技術，特別是在訓練大型模型等對帶寬和延遲有嚴苛要求的應用場景中，能夠充分利用RDMA所賦予的高效低延遲特性構建高性能的高速網絡系統，從而顯著提高數據傳輸效率，并整體上優化系統的運行性能。

揭秘InfiniBand：卓越帶寬的巔峰之作

目前，InfiniBand生態系統已經覆蓋了100G和200G高速傳輸的主流技術。在這其中，增強數據速率（EDR，100G）和高數據速率（HDR，200G）成為該領域的一些專有名詞。InfiniBand技術正迅速演進。 盡管InfiniBand擁有出色的性能，但由于其昂貴的成本，它經常被很多IT專業人士忽視，導致其在一般應用中的普及率相對較低。然而，在各大高校和科研機構的超級計算機中心，InfiniBand幾乎成為不可或缺的標配，尤其是對于支持關鍵的超級計算任務而言。 與傳統交換機不同，InfiniBand網絡采用了獨特的“胖樹”網絡拓撲結構，以確保任意兩個計算節點之間的網絡卡能夠實現無縫通信。這種胖樹結構包括兩個層次：核心層負責流量轉發并與計算節點分離，而接入層則連接各類計算節點。 在實施InfiniBand網絡中的胖樹拓撲時，其高昂的成本主要源于具有36個端口的匯聚交換機。其中，一半的端口必須連接到計算節點，而另一半則需要與上層核心交換機相連以實現無損通信。值得注意的是，每根電纜的價格大約為1.3萬美元，并且為了保證無損通信，冗余連接是必需的。

正如俗話所說：“一分錢一分貨”，這正是InfiniBand的真實寫照。毫無爭議地，它提供了無與倫比的高帶寬和低延遲。根據維基百科的資料，相比以太網，InfiniBand的延遲顯著更低，分別為100納秒和230納秒。這卓越的性能使得InfiniBand成為全球頂尖超級計算機中不可或缺的核心技術之一，受到微軟、NVIDIA等行業巨頭以及美國國家實驗室的廣泛采用。

釋放RoCE潛力：經濟高效的RDMA解決方案探索

在計算機網絡技術領域中，RoCE（以太網融合上的RDMA）以其較高的性價比嶄露頭角，特別是在與成本高昂的InfiniBand等技術對比時。盡管RoCE并非低成本選項，但它為用戶提供了更為經濟的途徑，在以太網上實現RDMA功能。近年來，RoCE技術迅速發展，并逐漸成為一種有競爭力的InfiniBand替代方案，尤其在對成本控制要求嚴苛的應用場景中表現突出。 然而，盡管具備性價比優勢，要借助RoCE實現真正的無損網絡仍面臨挑戰，整體網絡成本難以低于采用InfiniBand方案的50%。

解鎖大規模模型訓練潛能：GPUDirect RDMA的關鍵作用

在大規模模型訓練的過程中，節點間通信的成本至關重要。通過整合InfiniBand與GPU技術，GPUDirect RDMA這一顛覆性解決方案應運而生。該創新技術使得不同計算節點間的GPU能夠直接進行數據交互，無需經過內存和CPU層級。簡而言之，兩個節點上GPU之間的復雜通信過程可直接經由InfiniBand網絡接口卡完成，從而繞過了傳統路徑中必須通過CPU和內存的傳輸步驟。 在大規模模型訓練背景下，GPUDirect RDMA的重要性尤為顯著，因為模型通常存儲于GPU內存中。傳統的將模型復制至CPU并進一步傳輸至其他節點的過程耗時頗多，而使用GPUDirect RDMA則可以實現GPU間的直接信息交換，大幅度提升大規模模型訓練的效率和性能表現。

優化大型模型網絡架構：戰略配置策略分析

在大型模型應用領域，要獲得最佳性能，關鍵在于精密配置，特別是當GPU與InfiniBand網卡協同工作時。這里參考了合作伙伴NVIDIA推出的DGX系統，它倡導了一種GPU與InfiniBand網卡一對一配對的設計理念，并樹立了行業標桿。在此架構下，一個標準計算節點能夠集成9個InfiniBand網絡接口控制器（NIC），其中一個用于連接存儲系統，其余8個則分別對應單個GPU卡。 雖然這種配置方式理論上最為理想，但其成本相對較高，因此有必要探尋更具性價比的替代方案。一種有效的折衷策略是采用1:4的InfiniBand網卡與GPU卡的比例。 實際部署中，GPU和InfiniBand網卡均通過PCI-E交換機進行互聯，一般情況下每個交換機可支持2塊GPU。理想的狀況是每塊GPU都能精準分配到專屬的InfiniBand網卡資源。然而，當兩塊GPU共享同一個InfiniBand網卡和PCI-E交換機時，會由于對共享資源的競爭而產生挑戰。

InfiniBand網卡的數量直接影響著競爭程度及節點間通信效率，這一點可以通過附帶圖表生動展示。值得注意的是，在僅配備一塊100 Gbps網卡的情況下，帶寬可達12 GB/s，隨著網卡數量增加，帶寬幾乎呈現線性增長趨勢。設想一下，如果采用8塊H100 GPU卡搭配8塊400G InfiniBand NDR卡的配置方案，則能帶來極為震撼的數據傳輸速率。

為每塊GPU配備一張獨立的網卡是最理想的配置情況：這樣可以最大限度地減少資源爭搶，提高節點間的通信效率和整體性能表現。

構建卓越：大型模型網絡架構的軌式優化設計

在大規模模型運算的前沿領域，構建卓越性能的關鍵在于精心設計一套定制化的“軌式”網絡拓撲結構，該結構是對傳統高性能計算（HPC）中胖樹架構的一種革新與優化。

此架構示意圖生動展示了基礎版胖樹拓撲與經過軌式優化后的對比。系統內核心組件包括兩臺MQM8700系列HDR（高數據速率）交換機，它們通過四條HDR電纜實現高速互聯，確保了極高的帶寬和低延遲通信。每個DGX GPU節點裝備了九塊InfiniBand（IB）網卡，這些網卡在圖中標注為主機通道適配器（HCAs），以滿足不同功能需求。 其中特別指派一塊IB卡作為存儲連接專用接口（Storage Target），其余八塊則專為大規模模型訓練任務提供服務。具體布線策略如下：HCA1、HCA3、HCA5以及HCA7分別對接至第一個HDR交換機，而HCA2、HCA4、HCA6及HCA8則對應地與第二個交換機建立鏈接，以此形成了一種對稱且高效的多路徑傳輸體系，有力支撐了大規模并行計算環境下復雜模型的高效訓練和數據交換。

為了營造高效流暢的網絡環境，建議采用如圖所示的全無阻塞、深度優化的軌式網絡拓撲結構。在該設計中，每個DGX GPU節點均配備了八個InfiniBand (IB) 網卡，且每一個網卡都直接對接到一個獨立的交換機單元，這些被稱作葉交換機的設備總計部署了八臺。連接布局極其精細：例如，HCA1與第一臺葉交換機相連，HCA2與第二臺相接，以此遞增模式確保每張網卡都能專享一條高速鏈路。 后續的網絡架構圖清晰地揭示了底層細節，其中兩臺綠色標識的交換機代表脊交換機，它們負責實現四臺藍色標識的葉交換機之間的高速互聯。整個系統通過80條線纜將藍色和綠色交換機緊密耦合在一起，而藍色葉交換機則策略性地設置于下層，直接與計算節點建立物理連接。 這種配置的核心優勢在于其出色的可擴展性和低延遲特性，它能有效消除潛在的數據傳輸瓶頸，確保每一張IB卡都能夠以最優速率與網絡中的任何其他IB卡進行直接通信。這意味著任意GPU能夠以前所未有的效率實現無縫、實時的遠程內存訪問，從而極大地提升了大規模并行計算環境中GPU間的協同工作效率。

在追求高性能且零損失的復雜網絡環境中，選用InfiniBand或RoCE作為基礎架構的核心決策應緊密貼合您的特定應用需求和現有設施條件。兩者皆為業界翹楚，憑借低延遲、高吞吐量以及對CPU資源的極低占用率，在高性能計算（HPC）領域中展現出了卓越的適應性。

審核編輯：黃飛

?