天數智芯支持智源研究院首次完成大模型異構算力混合訓練，突破異構算力束縛
11月29日，北京智源人工智能研究院副院長兼總工程師林詠華在2023人工智能計算大會上宣布，正式開源700億參數大模型Aquila2-70B-Expr（異構先驅版），這是首個基于英偉達混合資源及天數智芯混合資源完成訓練的大模型，也是智源研究院與天數智芯合作取得的最新成果，再次證明了天數智芯通用GPU產品支持大模型訓練的能力，以及與主流產品的兼容能力。
據林詠華副院長介紹，為了解決異構算力混合訓練難題，智源研究院開發了高效并行訓練框架FlagScale，支持異構算力混合訓練，并在10月開源了FlagScale v0.1版本。此次基于FlagScale v0.2分別在英偉達混合資源（A100集群+A800集群）、天數智芯混合資源（BI-V100集群+BI-V150集群）完成了Aquila2-70B-Expr大模型訓練工作。
天數智芯在今年上半年搭建了天垓100（BI-V100）算力集群支持智源研究院開展70億參數大模型訓練。在此基礎上，雙方進一步深化合作。天數智芯首先搭建了128節點的BI-V100集群環境，支持智源研究院開展Aquila2-70B-Expr完整訓練。訓練到20萬步，導出模型并完成總計11項性能指標的評估，涉及常識推斷、多任務語言理解、真實性回答等場景，將基線實驗和對比實驗送到真實數據集上進行評測，計算差異在0.28%，在精度上與國際主流集群訓練的權重文件水平相當。同時，天數智芯基于新一代產品天垓150（BI-V150）搭建了16節點集群環境，用于智源研究院混合并行訓練研究。智源研究院利用120節點BI-V100集群加上8節點BI-V150集群進行Aquila2-70B-Expr大模型混合訓練，混合集群性能達到上界（理想合池理論峰值）的85.3%。測試結果顯示，在天數智芯產品上異構訓練，對模型性能影響甚微。
END
據林詠華副院長介紹，為了解決異構算力混合訓練難題，智源研究院開發了高效并行訓練框架FlagScale，支持異構算力混合訓練，并在10月開源了FlagScale v0.1版本。此次基于FlagScale v0.2分別在英偉達混合資源（A100集群+A800集群）、天數智芯混合資源（BI-V100集群+BI-V150集群）完成了Aquila2-70B-Expr大模型訓練工作。
天數智芯在今年上半年搭建了天垓100（BI-V100）算力集群支持智源研究院開展70億參數大模型訓練。在此基礎上，雙方進一步深化合作。天數智芯首先搭建了128節點的BI-V100集群環境，支持智源研究院開展Aquila2-70B-Expr完整訓練。訓練到20萬步，導出模型并完成總計11項性能指標的評估，涉及常識推斷、多任務語言理解、真實性回答等場景，將基線實驗和對比實驗送到真實數據集上進行評測，計算差異在0.28%，在精度上與國際主流集群訓練的權重文件水平相當。同時，天數智芯基于新一代產品天垓150（BI-V150）搭建了16節點集群環境，用于智源研究院混合并行訓練研究。智源研究院利用120節點BI-V100集群加上8節點BI-V150集群進行Aquila2-70B-Expr大模型混合訓練，混合集群性能達到上界（理想合池理論峰值）的85.3%。測試結果顯示，在天數智芯產品上異構訓練，對模型性能影響甚微。
這一成果極具商業價值和應用前景，有助于解決智算中心換代升級、增容后新舊計算卡并用難題，為智算中心高效運行提供了新方案。
END
原文標題：天數智芯支持智源研究院首次完成大模型異構算力混合訓練，突破異構算力束縛
文章出處：【微信公眾號：天數智芯】歡迎添加關注！文章轉載請注明出處。
聲明：本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人，不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用，如有內容侵權或者其他違規問題，請聯系本站處理。
舉報投訴
-
天數智芯
+關注
關注
0文章
95瀏覽量
5541
原文標題：天數智芯支持智源研究院首次完成大模型異構算力混合訓練，突破異構算力束縛
文章出處：【微信號：IluvatarCoreX，微信公眾號：天數智芯】歡迎添加關注！文章轉載請注明出處。
發布評論請先 登錄
相關推薦
“芯合”異構混合并行訓練系統1.0發布
近日，中國移動研究院副院長段曉東攜手天數智芯、壁仞科技、中興、海光、瀚博等一眾產業合作伙伴，共同推出了“芯合”異構
壁仞科技聯合中國電信等合作伙伴共同發布智算異構四芯混訓解決方案
工智能實驗室等發布了“智算異構四芯混訓解決方案”，打造算力、網絡、平臺、通信庫、框架全棧異構方案
澎峰科技助力中國移動 重磅發布智算“芯合”算力原生基礎軟件棧2.0
11月30日 ，由中國通信學會主辦、中國移動研究院承辦的2024中國信息通信大會“算力網絡算網一體創新發展論壇 ”在成都召開。中國移動研究院
澎峰科技助力中國移動發布智算“芯合”算力原生基礎軟件棧2.0
近日 ，由中國通信學會主辦、中國移動研究院承辦的2024中國信息通信大會“算力網絡算網一體創新發展論壇 ”在成都召開。中國移動研究院攜手澎峰
安謀科技異構算力組合，破局生成式AI算力挑戰
，“此芯P1”不僅異構集成了Armv9 CPU核心與Arm Immortalis GPU，還搭載了安謀科技（中國）有限公司（以下簡稱“安謀科技”）“周易”NPU等自研業務產品。憑借高能效的異構
安謀科技異構算力賦能AI計算，此芯科技首款AI PC芯片發布
底座，“此芯P1”不僅異構集成了Arm?v9 CPU核心與Arm Immortalis? GPU，還搭載了安謀科技（中國）有限公司（以下簡稱“安謀科技”）“周易”NPU等自研業務產品。憑借高能效的異構
發表于 07-31 14:36
?1030次閱讀
中國算力中心市場持續增長,智能算力規模快速崛起
7月24日，中國信息通信研究院（簡稱“中國信通院”）權威發布了《中國算力中心服務商分析報告（2024年）》，該報告深入剖析了中國算
神州鯤泰亮相北京數字安全大會，以智能算力構筑數據安全的堅實底座
GPU資源虛擬化或池化，完成跨集群之間的算力調度；打造異構智算加速平臺HICA，屏蔽集群內底層算
異構混訓整合不同架構芯片資源，提高算力利用率
電子發燒友網報道（文/李彎彎）隨著AI技術的飛速發展，大模型的訓練和推理任務對算力的需求日益增長。然而，單一品牌的芯片往往難以滿足所有需求，且可能存在供應鏈風險。因此，
鯤泰新聞｜神州鯤泰創新智算之旅北京站開幕，發布全新智算架構和液冷整機柜產品應對 “多云、異構、綠色
5月17日，神州鯤泰智算中國行北京站盛大召開。在本次活動上，神州鯤泰針對用戶對大模型訓練、大算力需求的痛點，重磅發布多云
工商網監
評論