NVIDIA 研究人員創(chuàng)建了可以疏通計算機網(wǎng)絡(luò)擁堵的 AI 模型，該模型很快就會出現(xiàn)在大眾附近的數(shù)據(jù)中心。

Gal Dalal 希望為居家辦公或在辦公室工作的人緩解網(wǎng)絡(luò)壓力。

這位 NVIDIA 高級研究科學(xué)家是以色列一所 10 人實驗室的成員，他正在使用 AI 減少計算機網(wǎng)絡(luò)的擁堵。

對于筆記本電腦用戶來說，如果看到屏幕上出現(xiàn)不停轉(zhuǎn)動的圈圈，甚至無法移動光標(biāo)，那就像在高速路上遇到一片紅海那樣糟糕。如同在交通高峰期，大批旅客想要快速到達(dá)某地，他們在途中互相擁擠，有時還會發(fā)生碰撞。

站在交叉路口的 AI

網(wǎng)絡(luò)使用擁塞控制來管理數(shù)字通信業(yè)務(wù)量。擁塞控制本質(zhì)上是嵌入到網(wǎng)絡(luò)適配器和交換機中的規(guī)則，但隨著網(wǎng)絡(luò)上用戶數(shù)量的增加，用戶之間的沖突可能變得過于復(fù)雜而難以預(yù)測。

AI 可以發(fā)現(xiàn)模式的發(fā)展過程并作出響應(yīng)，因此有望成為更好的“交警”。這就是為什么 Dalal 與世界各地的許多研究人員一起尋找通過強化學(xué)習(xí)使網(wǎng)絡(luò)變得更加智能的方法。強化學(xué)習(xí)是當(dāng)模型找到好的解決方案時，會對它們進(jìn)行獎勵的 AI。

但直到現(xiàn)在，出于種種原因，還沒有人能夠想出實用的方法。

與時間賽跑

網(wǎng)絡(luò)需要既高效又公平，這樣才不會有忽略任何請求。這種平衡很難達(dá)成，因為在數(shù)字“道路”上，沒有任何“司機”可以看到其他“司機”不斷變化的軌跡和預(yù)定目的地。

這也是與時間賽跑的比賽。為了發(fā)揮作用，網(wǎng)絡(luò)需要在大約一微秒（即百萬分之一秒）的時間內(nèi)對情況做出反應(yīng)。

為了使網(wǎng)絡(luò)交通變得順暢，NVIDIA 團隊受到先進(jìn)計算機游戲 AI 的啟發(fā)，創(chuàng)造了新的強化學(xué)習(xí)技術(shù)并將其應(yīng)用于網(wǎng)絡(luò)問題。

NVIDIA 在 2021 年的論文中描述了他們的突破性進(jìn)展，包括提出使用算法和相應(yīng)的獎勵函數(shù)來創(chuàng)造平衡的網(wǎng)絡(luò)，單個網(wǎng)絡(luò)流可用的本地信息是此網(wǎng)絡(luò)的唯一基礎(chǔ)。憑借該算法，團隊在其 NVIDIA DGX 系統(tǒng)上創(chuàng)建、訓(xùn)練并運行了 AI 模型。

效果驚人

Dalal 回憶道，在那次會議上，來自 NVIDIA 的 Chen Tessler 用圖表展示了該模型在模擬的 InfiniBand 數(shù)據(jù)中心網(wǎng)絡(luò)上的運行結(jié)果。

Dalal 表示：“我們當(dāng)時覺得效果十分顯著。”他曾在以色列著名的技術(shù)大學(xué)，以色列理工學(xué)院（Technion）寫過關(guān)于強化學(xué)習(xí)的博士論文。

他還認(rèn)為：“特別驚喜的在于我們只在 32 個網(wǎng)絡(luò)流上訓(xùn)練模型，它很好地概括了所學(xué)，以管理 8000 多個包含各種復(fù)雜情況的網(wǎng)絡(luò)流，因此這個機器比預(yù)先制定的規(guī)則更有效。”

在 NVIDIA 的測試中，強化學(xué)習(xí)（紫色）的表現(xiàn)優(yōu)于所有基于規(guī)則的擁塞控制算法

事實上，與最好的基于規(guī)則的技術(shù)相比，該算法的吞吐量至少提高了 1.5 倍，延遲降低了 4 倍。

自該論文發(fā)布以來，這項工作由于展現(xiàn)了強化學(xué)習(xí)在現(xiàn)實世界中的應(yīng)用潛力而贏得了贊譽。

在網(wǎng)絡(luò)中處理 AI

下一個重要的步驟仍然是正在進(jìn)行中的工作——設(shè)計 AI 模型版本，它可以使用網(wǎng)絡(luò)中有限的算力和內(nèi)存資源以微秒級速度運行。Dalal 描繪了兩個前進(jìn)方向。

Dalal 的團隊正在與設(shè)計 NVIDIA BlueField DPU 的工程師一起優(yōu)化用于未來硬件的 AI 模型。BlueField DPU 的目標(biāo)是在網(wǎng)絡(luò)內(nèi)運行不斷擴展的通信作業(yè)，從負(fù)擔(dān)過重的 CPU 上卸載任務(wù)。

另外， Dalal 的團隊正在將 AI 模型的精髓提煉成名為提升樹的機器學(xué)習(xí)技術(shù)。提升樹由一系列“是”與“否”的決策組成，它同樣十分智能，但運行起來更簡單。該團隊的目標(biāo)是在今年晚些時候以能夠立即用來緩解網(wǎng)絡(luò)流量的形式展示其工作。

及時的“交通”解決方案

目前，Dalal 已經(jīng)將強化學(xué)習(xí)應(yīng)用于從自動駕駛汽車到數(shù)據(jù)中心冷卻和芯片設(shè)計等各個領(lǐng)域。當(dāng) NVIDIA 于 2020 年 4 月 NVIDIA 收購 Mellanox 時，這位 NVIDIA 以色列研究員開始與附近網(wǎng)絡(luò)組的新同事進(jìn)行合作。

Dalal 表示：“將 AI 算法應(yīng)用于 NVIDIA 擁堵控制團隊的工作十分有意義。兩年后的今天，這項研究變得更加成熟了。”

而時機也已經(jīng)成熟。最近的報道顯示，從疫情爆發(fā)前到現(xiàn)在，以色列路上的汽車數(shù)量出現(xiàn)了兩位數(shù)增長，這可能會鼓勵更多的人在家辦公，網(wǎng)絡(luò)會變得更加擁堵。

幸運的是，AI “交警”正在趕赴崗位。

原文標(biāo)題：數(shù)據(jù)中心里的交警： AI 疏通數(shù)字流量擁堵

文章出處：【微信公眾號：NVIDIA英偉達(dá)】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。

審核編輯：湯梓紅