在AI大模型時代,隨著模型參數(shù)量與訓練集規(guī)模的爆炸性增長,單純依賴GPU單體算力的提升已難以滿足需求,業(yè)界焦點逐漸轉(zhuǎn)向系統(tǒng)架構(gòu)層面的革新,其中,作為底層核心技術(shù)的網(wǎng)絡(luò)成為了突破的關(guān)鍵。全球科技巨頭正競相研發(fā)相關(guān)產(chǎn)品技術(shù),AI網(wǎng)絡(luò)技術(shù)的競爭日益激烈。
在“2024開放計算中國峰會”上,英偉達網(wǎng)絡(luò)高級總監(jiān)宋慶春揭示了AI網(wǎng)絡(luò)的四大核心技術(shù)支柱:端到端RDMA流量動態(tài)路由、AI云業(yè)務(wù)性能隔離、網(wǎng)絡(luò)計算以及網(wǎng)絡(luò)數(shù)字孿生,這些技術(shù)共同構(gòu)成了推動AI云環(huán)境性能飛躍的基石。
為助力客戶在云端高效構(gòu)建生成式AI及AI工作負載,英偉達推出了其創(chuàng)新的網(wǎng)絡(luò)平臺——NVIDIA Spectrum-X加速以太網(wǎng)平臺。這一平臺并非孤立產(chǎn)品,而是集成了Spectrum-4以太網(wǎng)交換機、BlueField-3 DPU、LinkX線纜及模塊,以及配套軟件,共同為生成式AI在云端提供了前所未有的規(guī)模化能力。
Spectrum-X平臺的亮點之一在于其動態(tài)路由技術(shù)。面對數(shù)據(jù)中心算力結(jié)構(gòu)向生成式AI云轉(zhuǎn)型的趨勢,英偉達設(shè)計了專為AI優(yōu)化的以太網(wǎng)絡(luò),其中端到端RDMA流量動態(tài)路由技術(shù)尤為引人注目。該技術(shù)將網(wǎng)絡(luò)傳輸效率較傳統(tǒng)以太網(wǎng)絡(luò)提升了1.6倍,通過端網(wǎng)協(xié)同有效緩解了網(wǎng)絡(luò)擁塞問題。RDMA技術(shù)直接在網(wǎng)絡(luò)層面實現(xiàn)數(shù)據(jù)從源系統(tǒng)到目標系統(tǒng)存儲區(qū)的快速傳輸,無需操作系統(tǒng)介入,大幅減少了內(nèi)存復(fù)制和上下文切換的開銷,從而釋放了更多內(nèi)存帶寬和CPU資源用于提升應(yīng)用性能。
性能隔離技術(shù)則是另一項關(guān)鍵創(chuàng)新。在AI云環(huán)境中,多租戶多任務(wù)并行運行是常態(tài),如何確保各任務(wù)間既相互隔離又保持高性能,成為一大挑戰(zhàn)。英偉達將InfiniBand上成熟的性能隔離技術(shù)引入Spectrum-X平臺,通過先進的擁塞控制技術(shù),有效避免了單一AI應(yīng)用突發(fā)通信導(dǎo)致的網(wǎng)絡(luò)擁塞對其他應(yīng)用性能的影響,實現(xiàn)了以太網(wǎng)云上業(yè)務(wù)的高性能隔離。
網(wǎng)絡(luò)計算作為分布式計算的一種形式,通過在網(wǎng)絡(luò)節(jié)點間分配和協(xié)同計算任務(wù),不僅提升了數(shù)據(jù)處理和傳輸?shù)男剩€增強了數(shù)據(jù)的安全性和并發(fā)訪問能力。這對于解決生成式AI云面臨的資源利用率、長尾問題以及多任務(wù)調(diào)度等挑戰(zhàn)具有重要意義。
最后,網(wǎng)絡(luò)數(shù)字孿生技術(shù)為AI云網(wǎng)絡(luò)的運維和優(yōu)化提供了全新視角。通過構(gòu)建物理網(wǎng)絡(luò)的虛擬鏡像,運營商可以在不干擾實際網(wǎng)絡(luò)運行的情況下,進行方案模擬、選擇、優(yōu)化和測試,大大降低了部署成本和風險。同時,結(jié)合大數(shù)據(jù)處理和建模技術(shù),網(wǎng)絡(luò)數(shù)字孿生還能實現(xiàn)現(xiàn)狀評估、歷史診斷和未來預(yù)測,為網(wǎng)絡(luò)運維提供更為全面和精準的決策支持。
綜上所述,英偉達Spectrum-X平臺及其所代表的AI網(wǎng)絡(luò)技術(shù),正引領(lǐng)著AI云環(huán)境向更高效、更靈活、更智能的方向發(fā)展。
-
gpu
+關(guān)注
關(guān)注
28文章
4830瀏覽量
129778 -
網(wǎng)絡(luò)
+關(guān)注
關(guān)注
14文章
7655瀏覽量
89621 -
AI
+關(guān)注
關(guān)注
87文章
32439瀏覽量
271617
發(fā)布評論請先 登錄
相關(guān)推薦
華為發(fā)布四大創(chuàng)新全光解決方案 構(gòu)建以AI為中心的F5.5G全光網(wǎng)絡(luò),共贏智能時代

明遠智睿SD2351核心板首發(fā):四核A35+硬核AI引擎,賦能工業(yè)AIoT
芯科科技預(yù)測2025年無線物聯(lián)網(wǎng)的發(fā)展趨勢
先進封裝成為AI時代的核心技術(shù)發(fā)展與創(chuàng)新

玻璃基板面臨的四大核心技術(shù)攻關(guān)難點

DEKRA德凱亮相蓋世汽車2024第四屆汽車電氣化核心技術(shù)論壇
《AI for Science:人工智能驅(qū)動科學創(chuàng)新》第二章AI for Science的技術(shù)支撐學習心得
四大核心展區(qū),英特爾在工博會展現(xiàn)AI與制造深度融合

評論