華為盤古大模型部署已久,其負責人是華為云ai首席科學家田奇。
田奇于2008年至2009年從大學轉到微軟亞洲研究所多媒體計算組進行研究。2018年,天奇加入華為,作為首席科學家負責華為云計算相關業務。
2020年,在田奇的帶領下,華為將啟動半球模型研發,2021年4月正式發布,2022年將聚焦行業應用落實。今年7月7日,華為開發者大會(cloud)期間,版口3.0模型正式發布。
盤古大模型 3.0是由“5+ n + x”構成的完整的產業指向型大規模模型系列。
其中,L0層是指基礎大模型,包括NLP(自然語言處理)大模型、CV(計算機視覺)大模型、多模態大模型、科學計算大模型和預測大模型五個基礎大模型。
在這五個發展方向上,華為的成熟度是不同的。與chatgpt在nlp領域表現強勢不同,盤古大模型原本是指向b領域顧客的服務,因此將焦點放在了更加成熟的cv領域。
l1層是指n個行業的大模型,華為云可以提供業界通用的大模型,包括政府業務、金融、制造、礦山、氣象等大模型。并且根據客戶的個人數據,在l0和l1層為客戶訓練自己的專用大型模型。
l2提供更為細化的劇本作為模型,l1為基礎產業細分劇本結合在一起,就有可能獲得推論作為模型、政府直撥電話,地點助手、藥品遴選、異物探測臺風路徑預測等特定產業應用程序“,”立即可用的模式提供服務。
從整體上看,盤古大模型分為3個訓練階段。一是事前培訓,利用龐大數據進行事前培訓,獲得通用基礎模型;二是針對微調,下游行業的具體任務,結合行業數據進行微調。三是將大型模型反復產生的新數據與以前訓練使用的數據相結合,實現大型模型的終身學習。
因此,盤古大模型3.0具有自身風箏和自動化兩種特征。
華為首席執行官張平安此前表示:“華為自主開發的AI根基技術在最底層構建了以鯤鵬、昇騰為基礎的AI昇騰云計算基礎設施。還有一個計算框架,cann。升級云的效率反而領先于業界主流gpu。盤古大型模型訓練效率比行業主流gpu平均提高1.1倍。
解耦是“盤古大模型3.0”的另一個關鍵詞。在設計方面,半古代模型采用了完整的分層解耦設計。合作伙伴可以在此基礎上為自己的模型加載額外的數據集,并獨立升級基本模型和功能集。
與此同時,華為云以l0和l1模型為基礎,為客戶提供大型模型產業開發工具,通過對客戶個人數據的二次培訓,客戶可以擁有自己的專業產業大型模型。并且,根據客戶不同的數據安全及規程要求,vango大型模型提供公共云、大型模型云領域、混合云的多種配置形態。
-
數據集
+關注
關注
4文章
1208瀏覽量
24689 -
大數據
+關注
關注
64文章
8882瀏覽量
137401 -
盤古大模型
+關注
關注
1文章
109瀏覽量
251
發布評論請先 登錄
相關推薦
評論