隨著數據密集型問題的增長,學術研究人員對訪問諸如高性能計算(HPC)等強大算力系統的需求也在增多,然而,當前HPC資源的供應尚不能滿足日益增長的需求。HPC有益于不同科學和工程領域的研究人員應對重要科研挑戰,推動了尖端人工智能(AI)應用的發展。但是,有限的HPC資源及其不充分利用,阻礙了研究人員開發新產品和服務的能力。我國在超級計算機方面發展迅速,達到國際先進水平,但同樣需要增益超算資源的利用,以支持更多的科研和創新活動。2020年12月7日,美國智庫信息技術與創新基金會(ITIF)數據創新中心發布《如何增加超算資源的訪問》報告,就如何擴大AI研究人員對HPC資源的使用提出具體建議。
01
美國國會應在未來五年內向美國國家科學基金會(NSF)和美國能源部(DOE)提供100億美元,以滿足HPC資源的供需平衡。
在HPC基礎設施方面,美國NSF從國會獲得的資助額度從2010年到2019年下降了約一半,即從3.52億美元下降到1.67億美元。2019年的資助金額尚不足以支撐1/3的美國NSF HPC資源訪問需求,如圖1所示。為滿足快速增長的HPC資源訪問需求,在未來五年內,美國國會應將其對美國NSF HPC基礎設施的資助額度提高到至少5億美元/年。
美國DOE從美國國會獲得的資助額度從2010年到2019年增加了約90%,即從2010年2.76億美元增加到2019年5.23億美元。但是,2019年,美國DOE HPC資源訪問需求仍是供應的3倍。因此,美國國會應授權美國DOE將其對HPC基礎設施的資助額度提高到至少15億美元/年。
圖1 2019年美國NSF XSEDE所需和可用服務單元對比
02
美國NSF應該支持代表大多數研究人員的潛在HPC長尾用戶。
美國許多州擁有從事AI研究的頂級研究機構,但缺乏本地HPC資源的獲取途徑來進行AI研究。美國NSF應加大資助這些州的“中程HPC系統”和“中心HPC系統”。此外還應關注AI研究和HPC資源都相對貧乏的區域或機構,合理分配資助經費。
圖2 HPC計算系統的四個類別
03
美國DOE和NSF應該更有效地分配HPC計算時間。
為了更精確的為研究人員分配HPC資源,DOE和NSF首先要了解用戶的計算需求。目前提議的一些流程主要集中于給定項目所需的HPC系統計算峰值方面。但除此之外,美國DOE和NSF還需進一步了解用戶所需其它HPC能力,包括互連帶寬、數據長期存儲等。
04
美國DOE和NSF應為研究者提供HPC方面的專家,以提高科研生產力。
HPC系統的使用需要專業技術人才,美國DOE和NSF應該探索如何以更有效和可擴展的方式提供HPC專業知識,以提高研究人員的生產力。例如,美國NSF應該擴展“極端科學與工程發現環境”(XSEDE)項目的良好實踐,允許研究人員在申請HPC資源使用的同時申請相應時段的專業技術人員指導。這些HPC專業技術人員來自XSEDE項目的合作伙伴,他們將協助所分配的項目,以加快項目進展、達成研究目標。類似此類實踐,美國DOE應為阿貢國家實驗室和橡樹嶺國家實驗室的HPC資源配備更多的HPC專業技術人員,以期同時提供給用戶、提升科研生產力。
圖3 2019年美國NSF XSEDE資源服務的研究領域分配情況
05
美國NSF應資助兩年制學院開發HPC課程,促進其與四年制大學的無縫銜接。
HPC專業人員的需求日益增長,但達到技術準入門檻的合格技術人員數量明顯不夠。部分原因是因為兩年制學院的大學預科和四年制大學之間的教學漏洞,阻礙了許多學生從事計算機科學。為了彌補這一缺口,美國NSF應該資助兩年制學院和四年制大學聯合開發HPC課程,確保兩年制學院或社區大學的學生掌握計算機科學低年級課程,以便無縫地進入高年級學習。
06
美國NSF應為AI研究者提供多樣化的HPC資源組合。
云計算為遠程訪問HPC資源提供了可行路徑,突破了訪問HPC資源的空間限制。美國國會應批準“國家AI研究資源任務工作組法案2020”關于NSF成立專項任務組為AI研究開發國家公共云計算資源的提議。目前,美國NSF只在一個私有云環境(Jetstream)上分配HPC資源。美國NSF應擴大HPC資源組合以提供更多的云服務,諸如投資更多的私有云、與多種公有云合作。
圖3截至2019年美國NSF HPC系統和服務情況
07
美國NSF應制定并發布路線圖,以明確未來投資方向。
下一代計算設施長期計劃可以確保研究人員訪問最先進的計算系統,進而確保他們具有比競爭對手更高的生產力和更快的創新速度。同時,長期計劃還將為科學軟件開發提供指導。美國DOE已經有此類路線圖,美國NSF應該加快步伐。美國NSF應該每年收集用戶需求并發布路線圖,以便更好地確定HPC優先事項和戰略決策。這項工作應該由美國國家AI研究資源任務工作組牽頭。
08
美國NSF應建立更多的公私合作伙伴關系。
為實現AI研究投資回報最大化,需要有效的機制促進AI基礎研究轉化為市場產品和服務。目前,美國NSF已啟動“創新伙伴關系計劃”,資助NSF項目與工業界合作研發,旨在加速新技術向市場的轉化。但是,目前該計劃每年僅可以資助50個項目,美國NSF應該加大該計劃的資助力度,至少增加到每年150個項目。為實施國家AI研究所計劃,美國NSF已與埃森哲、亞馬遜、谷歌和英特爾建立了合作伙伴關系,共同解決全國性的AI問題。此外,美國NSF應該支持區域能力發展,鼓勵大學、地方企業、州和地方政府之間的合作。
09
美國DOE和NSF應采用新的工具和流程,以確保用戶更合理和更有效地利用HPC資源。
通過分析用戶對HPC系統使用情況來優化資源管理,以實現最大的HPC投資回報。美國DOE和NSF應要求所有獲得HPC資源資助的機構采用審計工具,以了解它們使用HPC系統的最佳方式。此外,美國NSF還應建立中心系統機構定期審查機制和用戶業務跟進機制,以及時獲得反饋,進而更新HPC戰略。
原文標題:【政策規劃?算】美國智庫就如何擴大HPC資源的使用提出具體建議
文章出處:【微信公眾號:集成電路研發競爭情報】歡迎添加關注!文章轉載請注明出處。
責任編輯:haq
-
計算機
+關注
關注
19文章
7488瀏覽量
87849 -
HPC
+關注
關注
0文章
315瀏覽量
23754
原文標題:【政策規劃?算】美國智庫就如何擴大HPC資源的使用提出具體建議
文章出處:【微信號:gh_22c5315861b3,微信公眾號:戰略科技前沿】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論