過去三年,在與微軟亞洲研究院“創(chuàng)新匯”成員企業(yè)探討 AI 如何在各行業(yè)落地的過程中,微軟亞洲研究院的研究員們發(fā)現(xiàn),資源調(diào)度優(yōu)化是很多領域都存在的通用問題,這也是為什么經(jīng)久不衰的“運籌學”廣泛應用于各行各業(yè)的原因。因此,基于三年來與成員企業(yè)的合作研究,微軟亞洲研究院發(fā)布了多智能體資源優(yōu)化平臺“群策 MARO”,并將其開源。
MARO 適用于由資源供需不平衡導致的資源利用率低的問題,而這樣的問題廣泛存在于多個行業(yè)的不同場景。如何更好地在不同參與者間以合理的成本提高資源利用率,為行業(yè)創(chuàng)造更大的利潤空間,且為社會節(jié)省不必要的資源浪費,是 MARO 的使命。這其中,利用創(chuàng)新技術助力企業(yè)和組織在關鍵場景中高效配置資源、節(jié)能減排,也是微軟可持續(xù)發(fā)展戰(zhàn)略中的重要一環(huán)。
資源分配如何優(yōu)化?
MARO來幫忙
剛剛過去的雙11其實就是一個典型的倉儲物流行業(yè)資源匹配的場景,由于大家的“爆發(fā)式”采購,三五年前我們經(jīng)常聽到出現(xiàn)“爆倉”的問題,但近兩年這個問題相對得到了緩解,其主要原因就是倉儲物流調(diào)度水平的大幅提升。其他常見的、需要資源調(diào)度優(yōu)化的場景還有共享單車中自行車與站點、人的匹配,物流運輸中集裝箱與港口、船只、貨物的匹配,電信領域無線基站帶寬與用戶流量的匹配,數(shù)據(jù)中心計算資源與運行任務之間的匹配,制造企業(yè)的生產(chǎn)與排程等等。
微軟亞洲研究院的研究員們將資源調(diào)度優(yōu)化這個場景高度抽象,搭建出了一個可以讓 AI 技術更好賦能這一場景的、通用的技術平臺 MARO。MARO是一個面向多行業(yè)橫截面上的全鏈條資源優(yōu)化 AI 解決方案,對于 MARO 已經(jīng)涵蓋的場景,用戶只需提供合規(guī)的數(shù)據(jù),MARO 就可以構建仿真環(huán)境并支持分布式并行訓練,進而給出最終的解決方案;而對于尚未支持的場景(如不同的資源實體,不同的資源產(chǎn)生和消耗邏輯等),MARO 則可以在限定的成本下幫助構建可行的方案。
從技術角度來看,智能資源調(diào)度優(yōu)化可以分為三個層面:最底層,可以理解為信息感知層,在這里需要通過一些智能感知技術把整個過程真正數(shù)字化,比如共享單車場景里的每個停車點、每輛單車,或是航運物流里的每個集裝箱、船只、港口等;第二層是信息的推理層,它建立在信息感知層之上,通過預測模型刻畫未來的資源供需情況,然后基于這些情況來設計算法去優(yōu)化資源調(diào)度;最高層則是智能決策層,該層無需額外的算法模型,因為智能模型可以直接利用第一層和第二層的信息給出最終的優(yōu)化方案,實現(xiàn)完全的、端到端的決策。目前,業(yè)界的優(yōu)化應用大多處于第二層,而 MARO 在兼顧第二層需求的前提下,可助力資源優(yōu)化實現(xiàn)第三層中的智能決策。
打開MARO的正確姿勢
考慮到不同行業(yè)用戶對 AI 技術的掌握程度會有所不同,MARO 平臺提供了三種面向不同用戶的構建方式,以幫助相關人員由淺入深地應用 AI 技術,創(chuàng)建自己的資源調(diào)度優(yōu)化模型,同時,也降低了科研成果在真實場景中應用的門檻,讓 AI 可以助力解決業(yè)界更多的實際問題。
MARO 平臺的三層架構
MARO Service:服務層,開箱即用
對于擁有行業(yè)領域知識,但沒有機器學習開發(fā)經(jīng)驗的人員來說,MARO Service 提供了一些現(xiàn)成的資源調(diào)度場景的優(yōu)化模型,如已經(jīng)上線的空集裝箱調(diào)配和共享單車場景等。如果用戶面臨與這三個模型高度匹配的業(yè)務場景,那么導入自己的業(yè)務數(shù)據(jù),即可使用相應的模型直接連接上下游業(yè)務系統(tǒng)。MARO 團隊還在不斷改進該層服務,未來將會選取更多領域的典型資源優(yōu)化場景加入到平臺中,讓更多行業(yè)用戶受益。
MARO Platform:構建和訓練自己的資源調(diào)度模型,并可直接用于生產(chǎn)
對于需要構建自有模型的用戶來說,如今無需太高的 AI 技術要求,就可以在 MARO Platform 靈活創(chuàng)建新場景、訓練新模型,不斷測試新算法的優(yōu)劣,通過反饋持續(xù)調(diào)整優(yōu)化模型。例如,有一定規(guī)模的物流企業(yè),本身已具有相應的技術積累,也有自己的傳統(tǒng)解決方案,如果希望利用 AI 尋找創(chuàng)新的優(yōu)化方案,那么此時就可以通過 MARO 提供的工具快速構建模擬場景,并基于實際的數(shù)據(jù)和業(yè)務邏輯進行優(yōu)化,從而迭代出自己的模型,且可以將該模型集成到自有的生成環(huán)境中使用。
在技術實現(xiàn)方面,MARO Platform 中所提供的高性能仿真器是其精髓所在。首先,用戶需要在仿真器環(huán)境中構建一張初始的靜態(tài)圖,根據(jù)實際場景可以包含異構的點和邊。比如在共享單車場景中,單車站點對應靜態(tài)圖中的“點”,而站點的位置遠近對應“邊”,再加上站點容量等其他信息,就可以構建出一張靜態(tài)圖,也是機器認知的初始環(huán)境。
搭建包含業(yè)務邏輯的動態(tài)環(huán)境
然后,導入用戶的騎行數(shù)據(jù)(資源需求流),這對系統(tǒng)而言相當于一個個事件(Event)流,它們不斷觸發(fā)、更改圖上節(jié)點以及邊的各種屬性,從而形成了一個包含業(yè)務邏輯的動態(tài)環(huán)境。通過環(huán)境與事件的不停交互,MARO 可提供基于 AI 算法的幾近實時的優(yōu)化策略,傳統(tǒng)方法需要幾小時才能生成的策略,MARO 幾秒鐘就可以提供。而且環(huán)境增強的方法使得 MARO 的仿真環(huán)境可以在一定程度上模仿現(xiàn)實的異常環(huán)境,進而提高模型的魯棒性,比如資源網(wǎng)絡中任意一個節(jié)點出現(xiàn)問題,只需把該節(jié)點停掉即可,并不會影響整體算法。
這其中,資源需求的時序信息、資源持有者的空間信息等,都可以通過圖神經(jīng)網(wǎng)絡有機地整合在一起,以輔助做出更好的決策。同時,MARO 還會考慮資源持有者相互之間的競爭,包容每個資源持有者可能會著眼于局部優(yōu)化,而給出相對“自私”一點的策略,來完成競合策略學習,但其最終目的還是希望全局網(wǎng)絡能夠?qū)崿F(xiàn)更好的優(yōu)化。
如果將共享單車的場景延伸到數(shù)據(jù)中心虛擬機的分配中,那么關鍵資源則由自行車變成了計算機集群上的計算資源,如 CPU、存儲,而事件流變成了客戶對資源的實時需求,如需要10 個 CPU、100GB 內(nèi)存這樣的事件。盡管使用場景變了,但調(diào)度優(yōu)化的本質(zhì)并沒有改變。因此,MARO 可以最大程度地適用于多個行業(yè)需要資源優(yōu)化的各種場景,同時它還可以與基于運籌學和組合優(yōu)化的傳統(tǒng)方法相互融合。
MARO Framework:基礎設施快速搭建,SDK調(diào)用所需資源
對于有著較深開發(fā)積累的用戶來說,MARO Framework 提供了一個可擴展的工具包,可以基于現(xiàn)有的高性能模塊以及通用接口實現(xiàn)“更加原創(chuàng)的”仿真環(huán)境構建和問題建模。開發(fā)人員可以通過 SDK 調(diào)用任何所需的計算、存儲、網(wǎng)絡等資源,也可以根據(jù)自己已有的計算機集群搭建 MARO 的平臺,進而獲得在分布式環(huán)境下進行并行訓練的支持。此外,對于現(xiàn)有問題 MARO 還提供了一批基準算法實現(xiàn),包括基于經(jīng)典規(guī)則的方法、基于運籌學的組合優(yōu)化方法、以及基于經(jīng)典的強化學習的方法,方便用戶進行算法比較并快速上手。
由于資源優(yōu)化是個獨有卻普遍存在于各個行業(yè)的應用場景,所以 MARO 為不同行業(yè)、不同需求的用戶分層提供了相應的框架和工具,用戶可以更好地專注于自己業(yè)務邏輯場景的開發(fā)和目標模型的優(yōu)化,其他諸如訓練和管理模型、基礎設施提供甚至可視化分析等“雜事”都可以放心地交給 MARO 來處理。
責任編輯:lq
-
微軟
+關注
關注
4文章
6591瀏覽量
104026 -
新技術
+關注
關注
0文章
32瀏覽量
8904 -
ai技術
+關注
關注
1文章
1268瀏覽量
24289
發(fā)布評論請先 登錄
相關推薦
評論