現代數據中心變得越來越難以管理。應用程序和 PB 級日志數據之間有數十億條可能的連接路徑。靜態規則不足以適應動態微服務的安全策略,而且人工已經無法應對數量龐大的日志數據的分析。
AI 是通往未來安全和自主管理式數據中心的唯一出路。
NVIDIA 融合加速器在業界率先推出 AI 增強型 DPU。它將 GPU 的強大計算能力與 DPU 的網絡加速和安全優勢相結合,為 AI 增強型數據中心管理創造了統一平臺。融合加速器可將 AI 生成的規則應用于數據中心網絡中的每個數據包,為實現實時安全和管理創造新的可能性。圖像展示了將 BlueField2 DPU 和 Ampere GPU 相結合的 NVIDIA 新型融合加速器。
圖 1.在標準模式下,BlueField-2 DPU 和 GPU 通過專用 PCIe 4.0 交換機連接以獲得完整帶寬,獨立于主機 PCIE 系統帶寬。
在 NVIDIA GTC 大會上,我們推出了兩款新型融合加速器。A100X 在單一模組中融合了 A100 Tensor Core GPU 和 NVIDIA BlueField-2 數據處理器。A30X 則融合了 A30 Tensor Core GPU 和相同的 BlueField-2 DPU。融合卡具有獨特的能力,除了BlueField-2 的卸載、隔離和加速網絡功能,進一步拓展到 AI 推理和訓練功能。
兩款加速器都包含一個集成的 PCIe 交換機實現DPU 和 GPU 連接。集成交換機能夠消除對主機資源的爭用,實現線速 GPUDirect RDMA 性能。集成交換機還通過隔離 GPU 和網卡之間移動的數據來提高安全性。
AI 增強型 DPU
融合加速器支持兩種運行模式:
標準模式 – BlueField-2 DPU 和 GPU 分別獨立運行。
BlueField-X模式 – PCI 交換機進行了重新配置,GPU 將專用于 DPU,并且對于主機系統不可見。
在 BlueField-X 模式下,只有DPU 上運行的操作系統可見到GPU。BlueField-X 模式在業界首創了一種新型加速器類型:GPU 加速的 DPU。圖像展示了在 BlueField-X 模式下,主機服務器中的 CPU 連接到融合加速器。融合加速器的 PCIe 交換機連接到 CPU 和 DPU。而GPU 僅通過PCIe 交換機與 DPU連接。
圖 2.在 BlueField-X 模式下,x86 主機只能看到 BlueField-2 DPU,支持 DPU 在網絡數據上運行 AI 工作負載。
在 BlueField-X 模式下,GPU 可以對流經 DPU 的數據運行 AI 模型,成為“bump in the wire”。保障安全同時,無性能損耗。AI 模型無需消耗主機資源,實現完全加速。
BlueField-X 為網絡安全、數據中心管理和 I/O 加速解鎖新穎使用場景。例如,Morpheus 網絡安全框架使用機器學習對以往無法識別的安全威脅進行有效處理。Morpheus 通過 DPU 從數據中心的各個服務器獲取遙測數據,并將其發送到配備 GPU 的服務器進行分析。
有了 BlueField-X,AI 模型可以在每個服務器的融合加速器上直接本地運行。這使 Morpheus 能夠更快地分析更多數據,同時消除代價很高的數據移動,并縮小惡意攻擊面。由 BlueField-X 加速的 Morpheus 使用案例包括惡意軟件檢測、數據泄漏預防和動態防火墻規則創建等。
Morpheus 示例僅僅是BlueField-X實現加速的一種使用場景。我們的客戶經常與我們分享一些我們尚未考慮到的新想法。為了對 AI 增強的網絡進行更多創造性的探索,我們現正推出 NVIDIA 融合加速器開發套件。
結合此開發套件,我們為有意構建新一代加速 AI 網絡應用的特定客戶和合作伙伴提供 A30X 加速器的搶先體驗計劃。在邊緣計算或數據中心管理中探索 BlueField-X 的新應用場景。以下例子為您做參考:
透明視頻預處理 – Bump in the wire視頻預處理(解密、交錯、格式轉換等),以提高 IVA 吞吐量和攝像頭密度。
小基站RU 解決方案 – RAN 信號處理聚合加速器,以增加商業 gNodeB 服務器上的用戶密度和吞吐量。
計算存儲 – Bump in the wire存儲加密、索引和哈希,為長期存儲主機數據準備處理卸載昂貴的 CPU 資源。
作弊檢測 – 檢測流式游戲服務中的惡意游戲/作弊
開始使用 NVIDIA 融合加速器開發套件
NVIDIA 融合加速器開發套件包含有結合 CUDA 和 NVIDIA DOCA 的示例應用程序,以及幫助您安裝、配置新型融合加速器的文檔。最重要的是,我們可以提供 A30X 及應用支持來換取您的寶貴反饋。
關于作者
Jacob Liberman 是 NVIDIA 企業和邊緣加速集團的產品經理。他利用 20 多年的技術計算經驗提供高性能、云計算原生邊緣人工智能解決方案。此前,他曾在紅帽、 AMD 和戴爾擔任產品管理和工程職務。
Pete Lumbis 是 NVIDIA 以太網網絡技術營銷總監。 Pete 幫助客戶構建、設計、自動化和加速下一代數據中心網絡。皮特是 CCIE # 28677 和 CCDE 2012 :: 3 。
審核編輯:郭婷
-
amd
+關注
關注
25文章
5466瀏覽量
134087 -
NVIDIA
+關注
關注
14文章
4978瀏覽量
102987 -
服務器
+關注
關注
12文章
9123瀏覽量
85324 -
應用程序
+關注
關注
37文章
3265瀏覽量
57677
發布評論請先 登錄
相關推薦
評論