超級(jí)計(jì)算機(jī)被用來建模和模擬科學(xué)計(jì)算中最復(fù)雜的過程,通常是為了洞察新發(fā)現(xiàn),否則這些新發(fā)現(xiàn)將不實(shí)際或不可能在物理上演示。
NVIDIA BlueField data processing unit ( DPU )正在將 high-performance computing ( HPC )資源轉(zhuǎn)化為更高效的系統(tǒng),同時(shí)加速?gòu)臄?shù)學(xué)建模和分子動(dòng)力學(xué)到天氣預(yù)報(bào)、氣候研究,甚至可再生能源的廣泛科學(xué)研究中的問題解決。
圖 1. NVIDIA BlueField DPU 的創(chuàng)新領(lǐng)域
BlueField 已經(jīng)在 云端網(wǎng)絡(luò) 、 網(wǎng)絡(luò)安全 、 通信 和 邊緣計(jì)算 領(lǐng)域產(chǎn)生了顯著影響。此外,在高性能計(jì)算的幾個(gè)領(lǐng)域,它正在激發(fā)應(yīng)用程序性能和系統(tǒng)效率方面的創(chuàng)新。
NVIDIA BlueField-3 提供基于多個(gè) Arm AArch64 核的強(qiáng)大計(jì)算能力、多線程數(shù)據(jù)路徑加速器、集成的 NVIDIA ConnectX-7 400Gb/s 網(wǎng)絡(luò) ,以及 I / O 路徑中廣泛的可編程加速引擎。它配備了雙 DDR 6500MT / s DRAM 控制器,并配有高達(dá) 32 GB 的板載內(nèi)存。 BlueField-3 是第三代芯片上數(shù)據(jù)中心基礎(chǔ)設(shè)施,支持從云到核心數(shù)據(jù)中心再到邊緣的高效、強(qiáng)大的軟件定義、硬件加速基礎(chǔ)設(shè)施。
那么,這一切對(duì)高性能計(jì)算意味著什么呢?
提高 HPC 應(yīng)用程序性能和可擴(kuò)展性
HPC 的核心是提高性能和可擴(kuò)展性。近二十年來, InfiniBand 網(wǎng)絡(luò)在性能和應(yīng)用程序可擴(kuò)展性方面一直處于領(lǐng)先地位,這有幾個(gè)原因。
從高層次來看, InfiniBand 只是移動(dòng)數(shù)據(jù)的最有效方式:直接數(shù)據(jù)放置。不需要涉及 CPU 或操作系統(tǒng),也不需要在數(shù)據(jù)從網(wǎng)絡(luò)接口通過系統(tǒng)到達(dá)需要它的實(shí)際應(yīng)用程序時(shí)制作數(shù)據(jù)的多個(gè)副本。
如果 InfiniBand 已經(jīng)如此高效, BlueField 會(huì)帶來什么好處?
InfiniBand 多年來一直在解決的一個(gè)關(guān)鍵挑戰(zhàn)是將網(wǎng)絡(luò)通信開銷從 CPU 移開,使其能夠?qū)r(shí)間集中在最擅長(zhǎng)的方面:應(yīng)用程序計(jì)算和分支代碼。
當(dāng)今主流服務(wù)器中的 CPU 過于通用,在數(shù)百或數(shù)千個(gè)與實(shí)際計(jì)算幾乎無關(guān)的進(jìn)程中共享其計(jì)算周期、時(shí)間和資源。
BlueField 通過卸載、加速和隔離廣泛的高級(jí)網(wǎng)絡(luò)、存儲(chǔ)和安全服務(wù),為超級(jí)計(jì)算帶來了前所未有的創(chuàng)新和效率。
為什么人工智能時(shí)代帶來了對(duì) BlueField DPU 的需求
人工智能研究領(lǐng)域成立于 1956 年,是一門學(xué)術(shù)學(xué)科。甚至在那之前的十年,科學(xué)家們就開始討論創(chuàng)造人工大腦的可能性。隨著現(xiàn)代計(jì)算機(jī)硬件和軟件的發(fā)展,這些概念很晚才成為現(xiàn)實(shí)。
2006 年, NVIDIA 推出了業(yè)界第一個(gè)針對(duì) GPU 的 C 編譯器開發(fā)環(huán)境 CUDA ,解決復(fù)雜計(jì)算問題的速度比傳統(tǒng)方法快 100 倍。今天,人工智能豐富多彩,幾乎推動(dòng)了科學(xué)研究的每個(gè)領(lǐng)域,改變了我們的生活,塑造了工業(yè)景觀。
同樣, 2006 年中期引入了對(duì)非阻塞集合操作的第一個(gè)建議的引用。消息傳遞接口( MPI )的集合組通信功能的非阻塞接口在理論上肯定是豐富的。然而,它并沒有在許多應(yīng)用程序中實(shí)現(xiàn)。也許這是因?yàn)椋谝?DPU 之前,無法實(shí)現(xiàn)全部好處。
今天,隨著 BlueField-3 的問世,這項(xiàng)技術(shù)已經(jīng)提供了創(chuàng)新、性能和效率所需的基本要素。為了提高應(yīng)用程序性能和可伸縮性,并消除操作系統(tǒng)抖動(dòng)的影響,非阻塞集合操作重新引起了人們的興趣。
科學(xué)計(jì)算還有幾個(gè)領(lǐng)域,包括早期的例子, BlueField 正在演示如何將 HPC 轉(zhuǎn)化為高效和可持續(xù)的計(jì)算。
使用網(wǎng)絡(luò)計(jì)算節(jié)省 CPU 周期
NVIDIA Scalable Hierarchical Aggregation and Reduction Protocol (SHARP) 技術(shù)通過將許多阻塞的集體操作從 CPU 卸載到交換機(jī)網(wǎng)絡(luò),并消除了在端點(diǎn)之間多次發(fā)送數(shù)據(jù)的需要,從而提高了 MPI 操作的性能。這種創(chuàng)新的方法減少了到達(dá)聚合節(jié)點(diǎn)時(shí)穿越網(wǎng)絡(luò)的數(shù)據(jù)量,并大大減少了 MPI 操作時(shí)間。
BlueField 通過利用其 Arm 內(nèi)核實(shí)現(xiàn)非阻塞操作,擴(kuò)展了額外的網(wǎng)絡(luò)計(jì)算能力。這使系統(tǒng)主機(jī) CPU 能夠執(zhí)行峰值重疊計(jì)算。
圖 2 顯示了一個(gè)使用 MVAPICH2- DPU 庫(kù)的示例,該庫(kù)正在進(jìn)行優(yōu)化,以充分利用 BlueField 的潛力。它顯示了提取主機(jī)上發(fā)生的計(jì)算與 MPI_Ialltoall 通信之間的峰值重疊的能力。
圖 2.使用 NVIDIA BlueField 技術(shù)與非阻塞通信和計(jì)算的重疊 全部全部
HPC 工作負(fù)載的計(jì)算存儲(chǔ)
計(jì)算存儲(chǔ)或 in-storage computing 為傳統(tǒng)存儲(chǔ)設(shè)備帶來了 HPC 功能。在存儲(chǔ)計(jì)算中,您可以在存儲(chǔ)設(shè)備內(nèi)或旁邊執(zhí)行選定的計(jì)算任務(wù),從而減輕主機(jī)處理負(fù)擔(dān)并減少數(shù)據(jù)移動(dòng)。 BlueField 提供在單個(gè)卡上結(jié)合存儲(chǔ)和網(wǎng)絡(luò)計(jì)算的能力。
BlueField 使存儲(chǔ)軟件堆棧能夠從計(jì)算節(jié)點(diǎn)卸載,同時(shí)作為連接結(jié)構(gòu)的 NVMe 控制器存在,能夠加速關(guān)鍵存儲(chǔ)功能,如壓縮、校驗(yàn)和計(jì)算和奇偶校驗(yàn)生成。此類服務(wù)在并行文件系統(tǒng)中提供。
整個(gè)存儲(chǔ)系統(tǒng)堆棧在 Linux 內(nèi)核中透明卸載,同時(shí)在 NVMe 目標(biāo)端實(shí)現(xiàn)標(biāo)準(zhǔn)存儲(chǔ)功能的簡(jiǎn)單 NVIDIA DOCA 實(shí)現(xiàn)。
新一代開放存儲(chǔ)體系結(jié)構(gòu)為加速、隔離和保護(hù)高性能存儲(chǔ)系統(tǒng)提供了一種新的范例。該系統(tǒng)采用硬件和軟件協(xié)同設(shè)計(jì),使得 DPU 對(duì)用戶來說非常高效和透明。
文件系統(tǒng)的加速意味著提高存儲(chǔ)系統(tǒng)中關(guān)鍵功能的性能,而存儲(chǔ)系統(tǒng)性能是基于深入學(xué)習(xí)的科學(xué)探究的關(guān)鍵促成因素。
將存儲(chǔ)客戶端和服務(wù)器完全卸載到 DPU 的能力導(dǎo)致以前無法實(shí)現(xiàn)的安全和性能隔離級(jí)別。關(guān)鍵數(shù)據(jù)平面和控制平面功能移動(dòng)到 DPU 上的單獨(dú)域。這樣可以免除服務(wù)器 CPU 的工作,并在 CPU 或其軟件受損的情況下保護(hù)功能。
NVIDIA DOCA 軟件框架
NVIDIA DOCA SDK 是釋放 BlueField 潛力的關(guān)鍵。 NVIDIA DOCA 和 BlueField 通過一個(gè)全面、開放的開發(fā)平臺(tái),共同實(shí)現(xiàn)了應(yīng)用程序的開發(fā),這些應(yīng)用程序可以提供突破性的網(wǎng)絡(luò)、安全、存儲(chǔ)和應(yīng)用程序性能。
NVIDIA DOCA 支持一系列操作系統(tǒng)和發(fā)行版,包括驅(qū)動(dòng)程序、庫(kù)、工具、文檔和示例應(yīng)用程序。即將發(fā)布的 NVIDIA DOCA 1.5 和 2.0 版本引入了廣泛的網(wǎng)絡(luò)、存儲(chǔ)、安全功能和增強(qiáng)功能,為 HPC 開發(fā)人員提供突破性的性能和高級(jí)編程能力:
一個(gè)新的通信通道庫(kù)
快速訪問主機(jī)內(nèi)存以實(shí)現(xiàn) UCX 加速
存儲(chǔ)仿真( SNAP ),包括存儲(chǔ)加密
新的 NVIDIA DOCA 服務(wù),包括 UCC 卸載服務(wù)和遙測(cè)服務(wù)
NVIDIA DOCA 安全 SDK
改造 HPC 的今天和明天
BlueField 、 NVIDIA DOCA 以及社區(qū)將繼續(xù)改造 HPC 的許多創(chuàng)新領(lǐng)域已經(jīng)初露端倪。
有些想法已經(jīng)過時(shí)了,例如在數(shù)據(jù)中心范圍內(nèi)增強(qiáng)性能隔離,或增強(qiáng)作業(yè)調(diào)度程序以實(shí)現(xiàn)更智能的作業(yè)安排。
由于科學(xué)應(yīng)用通常高度同步,系統(tǒng)噪聲對(duì)大型 HPC 系統(tǒng)的負(fù)面影響可能對(duì)性能產(chǎn)生更大的影響。減少存儲(chǔ)等其他過程引起的系統(tǒng)噪音至關(guān)重要。
遙測(cè)信息功能強(qiáng)大。它不僅僅是收集有關(guān)路由器、交換機(jī)和網(wǎng)絡(luò)流量的信息。相反,可以通過工作負(fù)載和 I / O 特性收集和共享信息。
AI 框架精確地調(diào)整了 NVIDIA Quantum-2 InfiniBand 平臺(tái)中的性能隔離算法。共享公共數(shù)據(jù)中心資源(如網(wǎng)絡(luò)和存儲(chǔ))的多應(yīng)用程序環(huán)境可以確保盡可能最佳的性能,就像應(yīng)用程序作為單個(gè)實(shí)例在裸機(jī)上運(yùn)行一樣。
關(guān)于作者
Scot Schultz 是 HPC 技術(shù)專家,專注于人工智能和機(jī)器學(xué)習(xí)系統(tǒng)。 Scot 在分布式計(jì)算、操作系統(tǒng)、人工智能框架、高速互連和處理器技術(shù)方面擁有廣泛的知識(shí)。在他的整個(gè)職業(yè)生涯中,擁有超過 25 年的高性能計(jì)算系統(tǒng)經(jīng)驗(yàn),他的職責(zé)包括各種工程和領(lǐng)導(dǎo)角色,包括戰(zhàn)略 HPC 技術(shù)生態(tài)系統(tǒng)支持。 Scot 在眾多行業(yè)標(biāo)準(zhǔn)組織的成長(zhǎng)和發(fā)展中發(fā)揮了重要作用。
審核編輯:郭婷
-
cpu
+關(guān)注
關(guān)注
68文章
10855瀏覽量
211597 -
NVIDIA
+關(guān)注
關(guān)注
14文章
4981瀏覽量
102995 -
人工智能
+關(guān)注
關(guān)注
1791文章
47206瀏覽量
238274
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論