算力是集信息計算力、網絡運載力、數據存儲力于一體的新型生產力,主要通過算力中心等算力基礎設施向社會提供服務。算力基礎設施是新型信息基礎設施的重要組成部分,呈現多元泛在、智能敏捷、安全可靠、綠色低碳等特征,對于助推產業轉型升級、賦能科技創新進步、滿足人民美好生活需要和實現社會高效能治理具有重要意義。
在第二屆“華彩杯”算力大賽啟動會上,中國工程院院士鄔賀銓作了《算力十問》的主題演講。
一問:如何準確衡量算力?
鄔賀銓指出,現有測算方法難以精準衡量算力。國內企業服務器的出貨量并不等于國內市場的使用量,而且進口國外的服務器未統計在內;服務器出貨量也不等于上架量,更不等于已經加電使用量。通常服務器集群的算力不等于集群內服務器算力之和;通過問卷調研方法收集的數據也未必能全面反映目前實際使用情況。
二問:超算、通算、智算三類算力是否可以互相調劑?
超算和通算可否承擔生成式大模型的訓練和推理任務?智算適合承擔目前超算和通算的任務嗎?建設兼具三類節點能力的融合算力中心會有利于三類算力的調度嗎?
三問:三類算力有無合理比例?
鄔賀銓認為,不同地區需求不同,不可能有固定的比例。通常國家與區域創新中心城市對超算有較大需求;機密性和時延敏感性決定了城市政務數據和重要企業關鍵數據盡量在同城通算;東部地區的AI訓練任務重、智算比例高;西部算力樞紐也需要增加智算能力,但一般西部地區以配置通算為主。
四問:何謂合適的算存比?
鄔賀銓強調,存力與算力需配合,避免因存力短缺造成算力等待而影響處理效率。而存力按位于服務器內外分為內存與外存,對于CPU密集型計算任務,影響算力效率與性能的主要是內存,據分析合理的算存比是GFlops/GB為1;對I/O密集計算任務,需頻繁訪問外存,如何考慮計入外存力的算存比合理取值,值得商榷。鄔賀銓同時指出,存力有HDD機械硬盤和SDD固態硬盤之分,后者可節能70%,但我國SDD僅占24.7%,不及美國一半。
五問:如何根據大模型參數量及訓練數據量來設計算力需求?
AI模型參數是指深度神經網絡各層神經元間連接矩陣的權重和偏置,模型輸出值=權重×輸入值+偏置。
算力規模(峰值Flops)≈8×訓練數據(tokens Byte)×模型參數/訓練時間(秒)×算力利用率(0.3~0.55)。
存力規模(Byte)≈10×模型參數×計算精度(Byte)。
理論上可以通過增加訓練時長來降低對大模型訓練算力的需求,但訓練時長的增加意味算力芯片集群出錯的次數增加,為應對出錯所需存盤開銷也增加,計算效率顯著下降。據OpenAI的經驗,模型大小和數據集大小及用于訓練的算力規模三個因素同時放大才有最佳效果,據分析,當不受其他兩個因素的制約時,大模型性能與單個因素都有冪律關系。
六問:如何利用邊緣與終端的算力?
當邊緣/終端具有70億參數以上的推理能力時,邊緣/終端可離線進行推理任務,目前手機可支持130億參數,2024年還會出現支持千億參數的手機。當邊緣/終端僅具有10億參數的推理能力時,需要與云端協同提供智能能力。鄔賀銓提出,單終端算力小,數以億計的終端算力集合就非常可觀,但跨終端的協同計算是否可行值得商榷。
七問:異地算力節點的協同可行嗎?
鄔賀銓認為,將算力集群擴展到跨域,多個異地的算力節點共同承擔一個計算任務,實時性的交互要求光傳輸系統無損和確定性時延,任何丟包和抖動都無法保證計算效率;在異屬異構的場景下異地協同計算的實施可操作性更是挑戰。他強調,集約化建設大型算力節點比分布異地協同能夠顯著提升能效和算力效率,東數西算和數據災備都需要在異地算力樞紐間建立廣域連接,但這僅是算力任務的轉移而不是異地實時協同計算。
八問:算力的接入需要集中管理與指配嗎?
不通過國家算力調度平臺能夠構建全國一體化算力網和算力大市場嗎?或者可以由算力節點擁有方和需求方聯合建立算力服務聯盟,以市場機制來溝通供需。另外,在強調企業為主體發揮市場有效作用的前提下,還需要強化有為政府的角色,通過建立結對子等東西部聯動機制強化區域間算力協同。
九問:算網協同做什么和如何做?
算力與網絡往往屬于不同的運營主體,跨運營商的協同調度也有管理難題。而且網絡通常并不感知所承載的數據屬性。當前,首先要厘清算網協同的標準與方法,發揮IPv6的分段選路、SRV6作為算網協同統一承載協議的作用,通過編程空間實現云網/算網的融通。
十問:如何解除中小企業使用算力的顧慮?
鄔賀銓建議,政府站臺主導建設面向中小企業的云智平臺,降低企業利用算力的門檻和對安全的擔心。
-
超算
+關注
關注
1文章
115瀏覽量
9070 -
算力
+關注
關注
1文章
964瀏覽量
14793 -
大模型
+關注
關注
2文章
2423瀏覽量
2641
原文標題:算力十問:超算智算,通算及算存比
文章出處:【微信號:AI_Architect,微信公眾號:智能計算芯世界】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論