日本團隊發布在富岳超算上訓練的Fugaku-LLM大模型
5月11日訊，多方企業與機構聯手的日本研究小組昨日公布了Fugaku-LLM大型模型。該模型最大特點在于在Arm架構超算“富岳”上完成了訓練。
自2023年5月起，Fugaku-LLM模型的開發工作開始展開，最初參與團隊包括富士通、東京工業大學、日本東北大學以及日本理化學研究所（簡稱理研）。
至同年8月，又有三家合作伙伴——名古屋大學、CyberAgent（同時也是游戲巨頭Cygames的母公司）及HPC-AI領域創新企業Kotoba Technologies加入項目。
研究團隊在昨日的新聞發布會上表示，他們成功利用富岳超算的強大性能，使矩陣乘法運算速度提升6倍，通信速度提高3倍，從而證明大型純CPU超算同樣適用于大模型訓練。
Fugaku-LLM模型參數規模達13B，成為日本國內最大的大型語言模型。
該模型采用13824個富岳超算節點，在3800億個Token上進行訓練，其中60%為日語數據，其余40%涵蓋英語、數學、代碼等內容。
研究團隊表示，Fugaku-LLM模型能夠在交流過程中自然運用日語敬語等特殊表達方式。
在測試結果方面，該模型在日語MT-Bench模型基準測試中的平均得分高達5.5，位列基于日本語料資源的開放模型之首；在人文社科類別的測試中更獲得了9.18的高分。
現如今，Fugaku-LLM模型已在GitHub和Hugging Face平臺公開發布，外部研究人員和工程師可在遵循許可協議的基礎上，將該模型應用于學術和商業領域。
聲明：本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人，不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用，如有內容侵權或者其他違規問題，請聯系本站處理。
舉報投訴
-
cpu
+關注
關注
68文章
10878瀏覽量
212167 -
模型
+關注
關注
1文章
3261瀏覽量
48914 -
語言模型
+關注
關注
0文章
529瀏覽量
10295 -
大模型
+關注
關注
2文章
2482瀏覽量
2849
發布評論請先 登錄
相關推薦
GPU是如何訓練AI大模型的
在AI模型的訓練過程中，大量的計算工作集中在矩陣乘法、向量加法和激活函數等運算上。這些運算正是GPU所擅長的。接下來，AI部落小編帶您了解G
什么是LLM？LLM在自然語言處理中的應用
隨著人工智能技術的飛速發展，自然語言處理（NLP）領域迎來了革命性的進步。其中，大型語言模型（LLM）的出現，標志著我們對語言理解能力的一次飛躍。LLM通過深度學習和海量數據訓練，使得
LLM和傳統機器學習的區別
和訓練方法 LLM： 預訓練和微調： LLM通常采用預訓練（Pre-training）和微調（Fine-tuning）的方法。預
端到端InfiniBand網絡解決LLM訓練瓶頸
的，這需要大量的計算資源和高速數據傳輸網絡。端到端InfiniBand（IB）網絡作為高性能計算和AI模型訓練的理想選擇，發揮著重要作用。在本文中，我們將深入探討大型語言模型（
LLM預訓練的基本概念、基本原理和主要優勢
在人工智能和自然語言處理（NLP）領域，大型語言模型（Large Language Model，簡稱LLM）的興起極大地推動了技術的進步和應用的發展。LLM通過
llm模型訓練一般用什么系統
LLM（Large Language Model，大型語言模型）是近年來在自然語言處理領域取得顯著成果的一種深度學習模型。它通常需要大量的計算資源和數據來進行
llm模型有哪些格式
LLM（Large Language Model，大型語言模型）是一種深度學習模型，主要用于處理自然語言處理（NLP）任務。LLM模型的格式
LLM模型和LMM模型的區別
在重復測量或分層數據中。 LMM（線性混合效應模型）是一種特殊類型的線性混合模型，它包括固定效應和隨機效應。它通常用于分析具有多個層次的數據結構，例如在多層次或分組數據中。 固定效應與隨機效應： 在
llm模型和chatGPT的區別
LLM（Large Language Model）是指大型語言模型，它們是一類使用深度學習技術構建的自然語言處理（NLP）模型。LLM模型可
大語言模型(LLM)快速理解
自2022年，ChatGPT發布之后，大語言模型（LargeLanguageModel），簡稱LLM掀起了一波狂潮。作為學習理解LLM的開始，先來整體理解一下大語言
超算訓練大模型，不浪費一丁點計算資源
政府也投入到LLM的計算資源整合中來，從而不至于落后這輪新的全球技術軍備戰。同樣的計算資源競爭也發生在超算領域，而兩者的計算資源存在一定的重合，不少人開始借助超算來進行LLM的開發。
富士通使用富岳超級計算機訓練LLM
盡管富士通的富岳超級計算機不再是超級計算機500強名單中最快的機器，但它仍然是一個非常強大的系統，A64FX處理器的多功能性允許將其用于各種工作負載，例如AI。
日本超算富岳助力構建大規模語言模型Fugaku-LLM
在昨日公布的新聞稿中，研究團隊表示他們成功發掘了富岳超級計算機的潛能，使矩陣乘法運算速度提升六倍，通信速度提高三倍，從而證實大型純CPU超級計算機同樣適用于大模型
基于NVIDIA Megatron Core的MOE LLM實現和訓練優化
本文將分享阿里云人工智能平臺 PAI 團隊與 NVIDIA Megatron-Core 團隊在 MoE (Mixture of Experts) 大語言模型（
工商網監
評論