9月21日,由科學技術部、中國工程院、清華大學共同發起主辦的長城工程科技會議“人工智能賦能高質量發展”主題大會在清華大學召開??萍疾奎h組書記、部長王志剛、清華大學黨委書記邱勇致辭,中國工程院潘云鶴院士、中國科學院張鈸院士等多位學術界、產業界專家圍繞人工智能技術前沿與產業發展分享了真知灼見。百度首席技術官、深度學習技術及應用國家工程研究中心主任王海峰以《人工智能技術生態與產業模式》為題作主旨報告。會上,王海峰表示,人工智能具有多種典型能力,理解、生成、邏輯、記憶是其中的核心基礎能力,這四項能力越強,越接近通用人工智能,而大語言模型具備了這四項能力,為發展通用人工智能帶來曙光。
早在2019年,王海峰就曾提出,深度學習具有很強的通用性,并具備標準化、自動化和模塊化的工業大生產特征,推動人工智能進入工業大生產階段。四年來,深度學習技術和應用的發展充分驗證了這一觀點。深度學習技術的通用性越來越強,深度學習平臺的標準化、自動化和模塊化特征越來越顯著,而預訓練大模型的興起,使得人工智能應用的深度和廣度進一步拓展,技術生態更加完善。人工智能已進入工業大生產階段。
標準化方面,框架和模型聯合優化,多硬件統一適配,應用模式簡潔高效,大幅降低人工智能應用門檻;自動化方面,從訓練、適配,到推理部署,提升人工智能研發全流程效率;模塊化方面,豐富的產業級模型庫,支撐人工智能在廣泛場景的便捷應用。
據了解,得益于飛槳產業級深度學習開源開放平臺和文心大模型的互相促進,貫通了深度學習全產業鏈,飛槳生態愈加繁榮,已凝聚800萬開發者,服務22萬家企事業單位,基于飛槳創建了80萬個模型。伴隨大模型的發展,百度推出了星河大模型社區,寓意“文心加飛槳,翩然赴星河”,與開發者共享共創大模型生態。
王海峰表示,人工智能具有多種典型能力,理解、生成、邏輯、記憶是其中的核心基礎能力,這四項能力越強,越接近通用人工智能,而大語言模型具備了這四項能力,為發展通用人工智能帶來曙光。
具體而言,人工智能的典型能力如創作、編程、解題、規劃等都依賴于理解、生成、邏輯、記憶等核心基礎能力,依賴程度有所不同。以解題為例,從讀懂題目、解答題目到最后寫出答案,需要理解、記憶、邏輯及生成能力的綜合運用。
知識增強大語言模型文心一言充分驗證了這一點。在訓練數據規模和參數規模相同的情況下,純中文模型比多語言模型生成能力強,理解和邏輯能力弱。文心一言首先從數萬億數據和數千億知識中融合學習得到預訓練大模型,在此基礎上采用有監督精調、人類反饋的強化學習和提示等技術,并具備知識增強、檢索增強和對話增強等技術優勢。在檢索增強和知識增強的基礎上,通過知識點增強,提升對世界知識的掌握和運用;通過邏輯數據構建、邏輯知識建模、多粒度語義知識組合以及符號神經網絡,提升邏輯推理能力。進一步地,通過多種策略優化數據源及數據分布、基礎模型長文建模、多類型多階段有監督精調、多任務自適應有監督精調、多層次多粒度獎勵模型等技術創新,全面提升基礎通用能力。
效率方面,通過飛槳端到端自適應混合并行訓練技術以及壓縮、推理、服務部署的協同優化,文心大模型訓練速度達到原來的3倍,推理速度達到原來的30多倍。根據人民數據、新華網等多個公開測評,文心大模型3.5支持下的文心一言綜合能力超過ChatGPT,遙遙領先于國內其他大模型。IDC《AI大模型技術能力評估報告,2023》顯示,文心大模型3.5拿下12項指標的7個滿分,得到“綜合評分第一,算法模型第一,行業覆蓋第一”三個絕對第一。
IDC《AI大模型技術能力評估報告,2023》: 百度獲算法模型、行業覆蓋唯一滿分
應用方面,通過數據驅動、提示構建,以及插件增強進行場景適配,協同優化。文心一言已上線百度搜索、覽卷文檔、E言易圖、說圖解畫、一鏡流影等原生插件,使模型具備生成實時準確信息、長文本摘要和問答、數據洞察和圖表制作、基于圖片的創作和問答、文生視頻等能力。插件機制擴展了大模型能力邊界,更適應場景需要。
數據顯示,文心一言在8月31日率先面向全社會開放服務,首日回答了網友3342萬個問題,細分應用場景豐富,包括文案創意、教育咨詢、代碼生成等,目前已有15萬企業和2萬多插件開發者申請接入。
面對大模型產業化的挑戰,王海峰表示,類似芯片代工廠,可以采用“集約化生產,平臺化應用”的模式,即具有算法、算力和數據綜合優勢的企業將模型生產的復雜過程封裝起來,通過低門檻、高效率的生產平臺,為千行百業提供大模型服務。這一產業化路徑已在文心大模型產業實踐中得到驗證,百度與各行業頭部企業、機構共建了包括能源、金融、航天、制造、傳媒、城市、社科以及影視等行業大模型。以文心一言等大語言模型為代表的人工智能正在深入千行百業,加速產業升級和經濟增長。
-
人工智能
+關注
關注
1793文章
47615瀏覽量
239555 -
語言模型
+關注
關注
0文章
536瀏覽量
10311 -
深度學習
+關注
關注
73文章
5511瀏覽量
121394
原文標題:百度CTO王海峰:知識增強大語言模型具備人工智能的四項基礎能力
文章出處:【微信號:baidu_2000,微信公眾號:百度】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論