GPU 加速計算在云計算、企業(yè)計算和邊緣計算領(lǐng)域的日益普及，越來越依賴于強健而強大的網(wǎng)絡(luò)基礎(chǔ)設(shè)施。 NVIDIA ConnectX SmartNICs 和 NVIDIA BlueField DPU 提供了高吞吐量、低延遲的連接，使 GPU 資源能夠跨節(jié)點群擴展。為了滿足對云本地 AI 工作負載的需求， NVIDIA 提供了 GPU 運營商，旨在簡化 Kubernetes 上的橫向擴展 GPU 部署和管理。

今天， NVIDIA 宣布了 NVIDIA 網(wǎng)絡(luò)運營商的 1.0 版本。作為 NVIDIA GPU 運算符 的一個模擬，網(wǎng)絡(luò)運營商通過自動化網(wǎng)絡(luò)部署和配置的各個方面簡化了 Kubernetes 的擴展網(wǎng)絡(luò)設(shè)計，否則就需要手工操作。它在具有 NVIDIA 網(wǎng)絡(luò)接口的任何集群節(jié)點上加載所需的驅(qū)動程序、庫、設(shè)備插件和 CNI 。

與 GPU 運營商配合，網(wǎng)絡(luò)運營商啟用了 GPU 直接 RDMA ，這是一項關(guān)鍵技術(shù)，可將云本地 AI 工作負載加速幾個數(shù)量級。該技術(shù)在 NVIDIA GPU 之間提供了高效的零拷貝數(shù)據(jù)傳輸，同時利用了 SmartNICs 和 DPU 中的硬件引擎。圖 1 顯示了兩個 GPU 節(jié)點之間的 GPU 直接 RDMA 技術(shù)。節(jié)點 1 上的 GPU 通過網(wǎng)絡(luò)直接與節(jié)點 2 上的 GPU 通信，繞過 CPU 設(shè)備。

圖 1 。 GPU 兩個 GPU 節(jié)點之間的直接 RDMA 技術(shù)

NGC 網(wǎng)絡(luò)運營商現(xiàn)在可在 NGC 和 NVIDIA 上使用 Kubernetes 自定義資源 （ CRD ）和 操作員框架 來提供實現(xiàn)加速聯(lián)網(wǎng)所需的主機軟件。這篇文章討論了網(wǎng)絡(luò)運營商內(nèi)部的內(nèi)容，包括它的特性和功能。

易于部署和操作的 Kubernetes 網(wǎng)絡(luò)

網(wǎng)絡(luò)運營商致力于使 Kubernetes 網(wǎng)絡(luò)變得簡單和輕松。它是 Apache2 。 0 許可下的一個開源軟件項目。 1.0 版本針對運行在裸機服務(wù)器基礎(chǔ)設(shè)施和 Linux 虛擬化環(huán)境中的 Kubernetes 進行了驗證。以下是 1.0 版的主要功能：

在裸機 Kubernetes 環(huán)境中自動部署主機軟件組件，以實現(xiàn)以下功能：

macvlan 輔助網(wǎng)絡(luò)

SR-IOV 二次網(wǎng)絡(luò)（分配給 pod 的 VF ）

主機設(shè)備輔助網(wǎng)絡(luò)（分配給 pod 的 PF ）

GPU 直接 RoCE （使用 NVIDIA GPU 運算符）

在嵌套的 Kubernetes 環(huán)境（在 Linux VMs 中運行的 Kubernetes Pods ）中自動部署主機軟件組件，以創(chuàng)建以下內(nèi)容：

SR-IOV 二級網(wǎng)絡(luò)（分配給 VM 的 VF 的#個，并通過不同的 POD ）

主機設(shè)備輔助網(wǎng)絡(luò)（分配給 Pod 的 PF ）

GPU 直接 RoCE （使用 NVIDIA GPU 運算符）

平臺支持：

Kubernetes v1 。 17 或更高版本

容器運行時： Containerd

裸機主機操作系統(tǒng)/ Linux 來賓操作系統(tǒng)： Ubuntu 20 。 04

Linux KVM 虛擬化

舵圖安裝

雖然啟用了 GPU 的節(jié)點是一個主要用例，但是網(wǎng)絡(luò)運營商對于啟用獨立于 NVIDIA GPU 的加速 Kubernetes 網(wǎng)絡(luò)環(huán)境也很有用。一些示例包括設(shè)置 SR-IOV 網(wǎng)絡(luò)和 DPDK 以加速電信 NFV 應(yīng)用程序、建立 RDMA 連接以快速訪問 NVMe 存儲等等。

NVIDIA 網(wǎng)絡(luò)運營商內(nèi)部

網(wǎng)絡(luò)運營商被設(shè)計成一個 Kubernetes 運營商，它利用多個定制資源為一個節(jié)點添加加速的網(wǎng)絡(luò)功能。 1 。 0 版本支持多種網(wǎng)絡(luò)模型，可適應(yīng)各種 Kubernetes 網(wǎng)絡(luò)環(huán)境和不同的應(yīng)用程序需求。如今，網(wǎng)絡(luò)運營商只為二級網(wǎng)絡(luò)配置 RoCE 。這意味著主吊艙網(wǎng)絡(luò)保持不變。將來的工作可能會允許為主網(wǎng)絡(luò)配置 RoCE 。

以下各節(jié)介紹網(wǎng)絡(luò)運營商打包和使用的不同組件。

節(jié)點功能發(fā)現(xiàn)

節(jié)點功能發(fā)現(xiàn) （ NFD ）是一個 Kubernetes 插件，用于檢測硬件特性和系統(tǒng)配置。網(wǎng)絡(luò)運營商使用 NFD 來檢測安裝了 NVIDIA SmartNICs 和 GPU 的節(jié)點，并將它們標記為這樣的節(jié)點。基于這些標簽，網(wǎng)絡(luò)運營商安排適當?shù)能浖Y源。

CNI 木耳

Multus CNI 是 Kubernetes 的容器網(wǎng)絡(luò)接口（ CNI ）插件，支持將多個網(wǎng)絡(luò)接口連接到 pod 。通常在庫伯內(nèi)特斯，每個吊艙只有一個網(wǎng)絡(luò)接口。使用 Multus ，您可以創(chuàng)建具有多個接口的多宿主 Pod 。 Multus 充當一個 meta-plugin ，一個可以調(diào)用多個其他 CNI 插件的 CNI 插件。 NVIDIA 網(wǎng)絡(luò)運營商安裝 Multus ，將用于高速 GPU – GPU 通信的二級網(wǎng)絡(luò)添加到集裝箱吊艙中。

NVIDIA OFED 驅(qū)動器

NVIDIA OpenFabrics 企業(yè)分銷（ OFED ） 網(wǎng)絡(luò)庫和驅(qū)動程序由 節(jié)點標簽 網(wǎng)絡(luò)團隊打包和測試。 NVIDIA OFED 通過 Infiniband 和以太網(wǎng)互連支持 遠程直接內(nèi)存訪問 （ RDMA ）。網(wǎng)絡(luò)運營商使用 NVIDIA 將預(yù)編譯的 NVIDIA OFED 驅(qū)動程序容器部署到每個 Kubernetes 主機上。容器在啟動或停止時加載和卸載 NVIDIA OFED 驅(qū)動程序。

NVIDIA 對等內(nèi)存驅(qū)動程序

NVIDIA 對等內(nèi)存驅(qū)動程序 是一個客戶端，它與網(wǎng)絡(luò)驅(qū)動程序交互，以在 GPU 和主機內(nèi)存之間提供 RDMA 。網(wǎng)絡(luò)運營商在同時具有 ConnectX 適配器和 NVIDIA GPU 的節(jié)點上安裝 NVIDIA 對等內(nèi)存驅(qū)動程序。當容器啟動和停止時，此驅(qū)動程序也會自動加載和卸載。

RDMA 共享設(shè)備插件

Kubernetes 設(shè)備插件框架 向 Kubernetes 節(jié)點上運行的 Kubelet 代理播發(fā)系統(tǒng)硬件資源。網(wǎng)絡(luò)運營商部署 RDMA 共享設(shè)備插件 向 Kubelet 播發(fā) RDMA 資源，并向節(jié)點上運行的 pod 公開 RDMA 設(shè)備。它允許吊艙執(zhí)行 RDMA 操作。節(jié)點上運行的所有 pod 共享對相同 RDMA 設(shè)備文件的訪問。

容器網(wǎng)絡(luò) CNI 插件

Macvlan CNI 公司 和 主機設(shè)備 CNI 是在 CNI 項目下托管的通用容器網(wǎng)絡(luò)插件。 macvlan CNI 創(chuàng)建一個新的 MAC 地址，并將所有通信轉(zhuǎn)發(fā)到容器。主機設(shè)備 CNI 將已經(jīng)存在的設(shè)備移動到容器中。網(wǎng)絡(luò)運營商使用這些 CNI 插件創(chuàng)建 macvlan 網(wǎng)絡(luò)，并將 NIC 物理功能分別分配給容器或虛擬機。

SR-IOV 設(shè)備插件和 CNI

SR-IOV 是一種在虛擬機或容器吊艙與 NIC 硬件之間提供直接接口的技術(shù)。它繞過了主機 CPU 和操作系統(tǒng)，從 I / O 任務(wù)中釋放出昂貴的 CPU 資源，并大大加快了連接速度。 SR-IOV 設(shè)備插件 和 CNI 插件 啟用 Kubernetes 節(jié)點上可用的 SR-IOV 虛擬功能（ VF ）。這兩者都是網(wǎng)絡(luò)運營商創(chuàng)建 SR-IOV VF 并將其分配給處理 GPU -to- GPU 通信的二級網(wǎng)絡(luò)所必需的。

SR-IOV 操作員

SR-IOV 操作符旨在幫助用戶在集群中提供和配置 SR-IOV 設(shè)備插件和 SR-IOV CNI 插件。網(wǎng)絡(luò)運營商使用 SR-IOV 操作員 在 Kubernetes 集群中部署和管理 SR-IOV 。

Whereabouts CNI

Whereabouts CNI 是一個 IP 地址管理（ IPAM ） CNI 插件，可以在 Kubernetes 集群中分配 IP 地址。網(wǎng)絡(luò)運營商使用此 CNI 為承載 GPU -to- GPU 通信的二級網(wǎng)絡(luò)分配 IP 地址。

更好的結(jié)合： NVIDIA 加速計算和網(wǎng)絡(luò)

圖 2 顯示了網(wǎng)絡(luò)運營商如何與 GPU 運營商協(xié)同工作來部署和管理主機網(wǎng)絡(luò)軟件。

圖 2 。網(wǎng)絡(luò)運營商與 NVIDIA GPU 運營商一起安裝，以在 EGX 堆棧上自動化 GPU 直接 RDMA 配置

以下部分描述了支持的網(wǎng)絡(luò)模型和相應(yīng)的主機軟件組件。

RoCE 共享模式

共享模式意味著在節(jié)點上的多個容器 pod 之間共享單個 IB 設(shè)備的方法。此網(wǎng)絡(luò)模型針對需要高性能網(wǎng)絡(luò)的企業(yè)和邊緣環(huán)境進行了優(yōu)化，無需多租戶。網(wǎng)絡(luò)運營商安裝以下軟件組件：

Multus CNI

RoCE 共享模式設(shè)備插件

Macvlan CNI

Whereabouts IPAM CNI

網(wǎng)絡(luò)運營商還在 GPU 節(jié)點上安裝 NVIDIA OFED 驅(qū)動程序和 NVIDIA 對等內(nèi)存。

SR-IOV 、 RoCE 和 DPDK 網(wǎng)絡(luò)

如前所述， SR-IOV 是一種提供對 NIC 硬件的直接訪問的加速技術(shù)。此網(wǎng)絡(luò)模型針對運行在裸機上的多租戶 Kubernetes 環(huán)境進行了優(yōu)化。網(wǎng)絡(luò)運營商安裝以下軟件組件：

Multus CNI

SR-IOV 設(shè)備插件

SR-IOV CN

Whereabouts IPAM CNI

網(wǎng)絡(luò)運營商還在 GPU 節(jié)點上安裝 NVIDIA OFED 驅(qū)動程序和 NVIDIA 對等內(nèi)存。

NIC PF 直通

這種網(wǎng)絡(luò)模式適合要求極高的應(yīng)用。網(wǎng)絡(luò)運營商可以將 NIC 物理功能分配給 Pod ，以便 Pod 充分利用它。網(wǎng)絡(luò)運營商安裝以下主機軟件組件：

Multus CNI

SR-IOV 設(shè)備插件

主機開發(fā) CNI

Whereabouts IPAM CNI

網(wǎng)絡(luò)運營商還在 GPU 節(jié)點上安裝 NVIDIA OFED 驅(qū)動程序和 NVIDIA 對等內(nèi)存。

為橫向擴展 GPU 集群優(yōu)化 Kubernetes 網(wǎng)絡(luò)

NVIDIA GPU 和網(wǎng)絡(luò)運營商都是 NVIDIA EGX 企業(yè)平臺的一部分，該平臺允許 GPU 加速計算與傳統(tǒng)企業(yè)應(yīng)用程序在同一 IT 基礎(chǔ)設(shè)施上協(xié)同工作。總而言之，運營商使 NVIDIA GPU 成為庫伯內(nèi)特斯的一等公民。現(xiàn)在發(fā)布用于生產(chǎn)環(huán)境，網(wǎng)絡(luò)運營商簡化了 Kubernetes 網(wǎng)絡(luò)，帶來了必要的簡單性和可擴展性級別，以便在企業(yè)中實現(xiàn)擴展培訓和邊緣推斷。

關(guān)于作者

Itay Ozery 是 NVIDIA 網(wǎng)絡(luò)產(chǎn)品營銷總監(jiān)。他為 Mellanox 的云網(wǎng)絡(luò)解決方案推動戰(zhàn)略性產(chǎn)品營銷和產(chǎn)品管理計劃。 Itay 在網(wǎng)絡(luò)安全領(lǐng)域領(lǐng)導了大規(guī)模的業(yè)務(wù)和項目，并與數(shù)據(jù)中心和電信服務(wù)提供商在 IT 系統(tǒng)和網(wǎng)絡(luò)工程領(lǐng)域擔任過多個職位。

審核編輯：郭婷