法國云服務提供商 Scaleway 正在基于 NVIDIA 的 Hopper GPU和 Spectrum-X 以太網網絡平臺構建區(qū)域性 GPU 集群，為用戶提供 AI 按需服務業(yè)務。

Scaleway 是法國的一家擁有高性能基礎設施的云服務提供商，創(chuàng)立于 1999 年，擁有 80+ 云產品及服務，為全球 25,000+ 客戶提供云服務，客戶包括 Mistral AI、Aternos、Hugging Face、Golem.ai 等。Scaleway 提供一站式的云服務，以開發(fā)創(chuàng)新解決方案并幫助用戶從零開始構建和擴展 AI 項目，目前 Scaleway 正在構建區(qū)域 AI 云，提供 GPU 基礎設施，用于大規(guī)模的 AI 模型訓練、推理及部署。

客戶挑戰(zhàn)

云 AI 工作負載需求正以前所未有的速度增長，同時生成式 AI 應用也在激增。為滿足客戶部署生成式 AI 應用程序、訓練基礎 AI 大模型的需求，云服務提供商面臨巨大挑戰(zhàn)，需要構建 AI 云，使用加速計算技術和高性能網絡來支持 AI 業(yè)務。

Scaleway 的核心需求包括：

對于分布式 AI 訓練任務，單個任務的訓練時間由最慢的計算節(jié)點的運行時間決定，這使得尾部延遲至關重要。AI 云需要一個高吞吐、低延遲、低抖動、易擴展的高性能網絡，來確保 GPU 間快速、高效的通信，尤其是在大規(guī)模部署的場景下。

在多個 AI 任務同時運行的多租戶環(huán)境中，性能隔離對于保護一個租戶的 AI 任務免受其他租戶業(yè)務的影響是必不可少的。由此提出了對多租戶多任務場景下性能隔離的需求。

對于復雜的 AI 云環(huán)境，需要專門適用于 AI 網絡的監(jiān)控管理工具，提供細粒度的網絡可視化功能、同時具備網絡監(jiān)控和故障定位能力。

為實現(xiàn) AI 云數據中心的高效、快速部署，需要強大的網絡仿真及自動化平臺。

隨著云上用戶、數據、應用的快速增長，網絡安全威脅不容忽視，需要提供私有的、安全的零信任基礎設施，保障用戶的業(yè)務安全。

解決方案

Scaleway 采用了 NVIDIA 的 Hopper GPU 和 Spectrum-X 網絡平臺應對以上挑戰(zhàn)。

Scaleway 將 HGX Hopper GPU 服務器加入其 GPU 集群陣容中，以覆蓋廣泛的計算需求，利用 GPU 的速度和效率加速 AI 分布式工作負載。

對于 Scale-Out AI 網絡，Scaleway 采用了基于 BlueField-3 SuperNIC 和 Spectrum SN5600 交換機構建的 Spectrum-X 網絡平臺。NVIDIA 的 Spectrum-X 網絡平臺是全球首個專為 AI 構建的以太網端到端解決方案，與傳統(tǒng)以太網相比，其生成式 AI 訓練的網絡通信效率提高了 1.6 倍。

同時 Spectrum-X 部署將利用以下網絡軟件堆棧：

NVIDIA Air 用于 AI 網絡仿真，NVIDIA Air 是一個云托管的數據中心網絡仿真平臺，其行為類似于真實世界的生產環(huán)境。使用 NVIDIA Air 創(chuàng)建數據中心的數字孿生，可以驗證網絡配置、網絡功能以及自動化部署代碼，提升數據中心的部署效率。

NetQ 用于 AI 網絡監(jiān)控，通過高頻遙測技術監(jiān)控 AI 工作負載，NetQ 提供有關數據中心運行狀況的數據和統(tǒng)計信息，關聯(lián)配置和運行狀態(tài)，并跟蹤狀態(tài)變化。基于遙測信息，NetQ 提供動態(tài)路由監(jiān)控，RoCE 流量計數器，交換機隊列直方圖等功能，以識別和應對網絡微突發(fā)、擁塞場景，方便網絡故障定位。

Cumulus Linux 用于軟件驅動的數據中心網絡自動化，Cumulus Linux 是創(chuàng)新的開放網絡操作系統(tǒng)，支持 BGP/OSPF 路由協(xié)議，以太網虛擬專用網絡 EVPN，虛擬路由和轉發(fā)。

DOCA SDK 和庫用于增強 BlueField-3 SuperNIC 性能，DOCA SDK 提供行業(yè)標準的開放 API 和軟件框架，包括針對 RDMA、網絡、安全、存儲、數據路徑加速的 SDK，幫助開發(fā)者快速創(chuàng)建軟件定義、SuperNIC 加速的服務。

使用的 NVIDIA 產品

硬件:

NVIDIA HGX Hopper 服務器

NVIDIA Spectrum-4 SN5600 以太網交換機

NVIDIA BlueField-3 B3140H SuperNICs

軟件:

Cumulus Linux 網絡操作系統(tǒng)

NetQ 監(jiān)控管理平臺

NVIDIA Air 仿真平臺

DOCA SDK

實際效果

采用 NVIDIA 的整體解決方案后，極大地提升了 AI 計算能力，縮短了 AI 訓練時間，同時加速了 AI 解決方案的開發(fā)、部署和上市時間，有效提高了投資回報率。

Scaleway 客戶可以從幾個 GPU 擴展到幾千個 GPU，以適應任何 AI 用例

Spectrum-X 提供多租戶、多任務的 AI 環(huán)境所需的高性能和安全性， 借助動態(tài)路由、擁塞控制、全局共享緩沖區(qū)等多種機制，實現(xiàn)了多任務的性能隔離。

NetQ 提供對 AI 網絡健康狀況的深度可視性，具有 RoCE 流量計數器、事件和 WJH（What Just Happened）警報等豐富的儀表板，實現(xiàn) AI 網絡可視化、故障排除和驗證功能。

NVIDIA Air 和 Cumulus Linux 支持 API 原生網絡環(huán)境，該環(huán)境可集成到 DevOps 工具鏈中，實現(xiàn)了第 0 天、第 1 天 和第 2 天操作的無縫銜接。

NVIDIA 網絡高級副總裁 Gilad Shainer 表示：

“生成式 AI 等開創(chuàng)性技術的飛速發(fā)展，使每家企業(yè)都必須把網絡創(chuàng)新放在第一位，從而獲得競爭優(yōu)勢。NVIDIA Spectrum-X 是對以太網絡的一次革命，讓企業(yè)能夠充分利用其 AI 基礎設施的強大力量來改變其運營方式，甚至顛覆他們的行業(yè)。”

Scaleway 首席執(zhí)行官 Damien Lucas 表示：

“NVIDIA Spectrum-X 網絡技術為我們的‘GPU 集群按需服務’提供了更快的網絡連接和更高效的 GPU 通信，使我們的客戶能夠加速開發(fā)和部署他們的 AI 解決方案。”