由于模型越來越大,訓練過程中硬件的優化變得尤為重要。從2019年下半年開始,各家分別開發出大規模并行訓練、模型擴展技術,以期開發出更大的NLP模型。英偉達Megatron-LM、谷歌T5、微軟Turing-NLG相繼出現。
2020年6月OpenAI在發布了GPT-3,這是當時訓練的最大模型,具有1750億個參數。近段時間,浪潮、英偉達與微軟相繼發布2500億參數、5300億參數的巨量模型,超過GPT-3。
中國工程院院士王恩東認為,人工智能的大模型時代已經到來,利用先進算法,整合大規模數據,匯聚大量算力,訓練出巨量人工智能模型是未來的發展方向……
英偉達與微軟聯合發布了5300億參數的“威震天-圖靈”
上周,英偉達與微軟聯合發布了5300億參數的“威震天-圖靈”自然語言生成模型(Megatron-TuringNLG)。據介紹,這樣的量級不僅讓它成為全球規模最大,同時也是性能最強的NLP模型。
訓練過程一共使用了4480塊英偉達A100 GPU,最終使該模型在一系列自然語言任務中——包括文本預測、閱讀理解、常識推理、自然語言推理、詞義消歧——都獲得了前所未有的準確率。
此模型簡稱MT-NLG,是微軟Turing NLG和英偉達Megatron-LM兩者的“繼任者”。Turing NLG由微軟于2020年2月推出,參數為170億;Megatron-LM來自英偉達,2019年8月推出,參數83億。它倆在當時分別是第一、二大規模的Transfomer架構模型。
我們都知道大參數規模的語言模型效果會更好,但訓練起來也很有挑戰性,比如:即使是最大容量的GPU,也存不下如此規模的參數;如果不特別注意優化算法、軟件和硬件堆棧,那么所需的大量計算操作可能會導致訓練時間過長。
那這個參數已是GPT-3三倍的MT-NLG又是如何解決的呢?答案就是汲取“兩家”所長,融合英偉達最先進的GPU加速訓練設備,以及微軟最先進的分布式學習系統,來提高訓練速度。并用上千億個token構建語料庫,共同開發訓練方法來優化效率和穩定性。
具體來說,通過借鑒英偉達Megatron-LM模型的GPU并行處理,以及微軟開源的分布式訓練框架DeepSpeed,創建3D并行系統。對于本文中這個5300億個參數的模型,每個模型副本跨越280個NVIDIA A100 GPU,節點內采用Megatron-LM的8路張量切片(tensor-slicing),節點間采用35路管道并行(pipeline parallelism)。
然后再使用DeepSpeed的數據并行性進一步擴展到數千個GPU。最終在基于NVIDIA DGX SuperPOD的Selene超級計算機上完成混合精度訓練。(該超級計算機由560個DGX A100服務器提供支持,每個DGX A100有8個 NVIDIA A100 80GB Tensor Core GPU,通過NVLink 和 NVSwitch相互完全連接)。
該模型使用了Transformer解碼器的架構,層數、hidden dimension和attention head分別為 105、20480和128。訓練所用數據集包括近20萬本書的純文本數據集Books3、問答網站Stack Exchange、維基百科、學術資源網站PubMed Abstracts、ArXiv、維基百科、GitHub等等,這些都是從他們先前搭建的Pile數據集中挑出的質量較高的子集。最終一共提取了2700億個token。
浪潮發布2500億參數的中文AI巨量模型“源1.0”
9月28日,浪潮人工智能研究院發布浪潮發布了2500億參數的中文AI巨量模型“源1.0”。
“源1.0”不僅有高達5TB的全球最大中文高質量數據集,在總計算量和訓練效率優化上都是空前的。源1.0幾乎把近5年整個中文互聯網的浩瀚內容全部讀完,在收集并清洗數據后,最終獲得5TB高質量數據,成為迄今業界最大的高質量中文數據集。
在語言智能方面,源1.0獲得中文語言理解評測基準CLUE榜單零樣本學習和小樣本學習兩類總榜冠軍,獲得小樣本學習的文獻分類、商品分類、文獻摘要識別、名詞代詞關系等4項任務冠軍。
“在數據量、參數規模與模型精度方面,源1.0均居全球之最。”浪潮人工智能研究院首席研究員吳韶華說。對標OpenAI的GPT-3,源1.0參數規模為2457億,訓練采用的中文數據集達5TB。相比GPT-3模型1750億參數量和570GB訓練數據集,源1.0參數規模領先40%,訓練數據集規模領先近10倍。
“得益于我們設計模型時,對精度和計算性能的協同。”吳韶華說,“在算法上,我們解決了巨量模型訓練不穩定的業界難題,提出穩定訓練巨量模型的算法,打造了巨量模型推理方法創新;在數據方面,我們生成了迄今業界最大的高質量中文數據集;在算力上,我們通過算法與算力協同優化,極大提升了計算效率,在實現業界訓練性能第一的同時,還達到了業界領先的精度。”
巨量模型是未來的發展方向
“認知智能是人工智能研究者追求的方向之一。”中國工程院院士王恩東告訴《中國科學報》,“除了加速深度學習技術,開發全新的算法范式研究方向外,大規模數據訓練超大參數量的巨量模型也是未來發展方向,即利用先進的算法,整合大規模的數據,匯聚大量算力,訓練出巨量人工智能模型。”
2020年6月,OpenAI發布了參數量高達1750億的大模型GPT-3,該模型一推出就引起人工智能學界和業界的轟動。“語言模型是全球AI界的‘必爭之地’。”一位人工智能研究領域的專家說,“參數規模大到遠超我們想象的時候,會發生一些難以解釋的現象。”
浪潮信息副總裁劉軍同樣認為,生命從簡單進化到復雜,這種智能水平本身就是一種模型。如果把模型比作元宇宙中的生命,大模型的這種綜合系統能力,可能會決定未來數字世界和智能世界里的智能水平。“人的神經元突觸超過100萬億,而現有大模型的參數量還遠遠不夠,所以我們還有很遠路要走”。
伴隨著人工智能應用廣度與深度的不斷提升,眾多行業、諸多業務場景的智能化創新需求日益增多。然而當前大多數AI模型只能用于某一特定領域,通用性不強,這對AI技術提出了挑戰,也限制了AI的產業化進程。
大模型在今天初露崢嶸絕非偶然。技術、算力、資源、需求等多因素的“風云際會”,讓被AI業界視為“核力量”的大模型嶄露頭角。
電子發燒友綜合報道,參考自量子位、浪潮服務器
-
微軟
+關注
關注
4文章
6591瀏覽量
104026 -
浪潮
+關注
關注
1文章
458瀏覽量
23851 -
英偉達
+關注
關注
22文章
3771瀏覽量
90991
發布評論請先 登錄
相關推薦
評論