10月17日,以“生成未來”為主題的百度世界2023在北京首鋼園舉辦,百度首席技術官王海峰解讀文心大模型4.0背后的關鍵技術和最新進展。王海峰表示,文心大模型4.0的理解、生成、邏輯、記憶四大能力都有顯著提升,9月已開始小流量上線,過去一個多月效果又提升了近30%。8月31日文心一言面向全社會開放至今,用戶規模已經達到4500萬,開發者5.4萬,場景4300個,應用825個,插件超過500個。
文心大模型4.0首發 理解、生成、邏輯和記憶能力顯著提升
據了解,百度在3月16日發布知識增強大語言模型文心一言。文心一言從數萬億數據和數千億知識中融合學習,得到預訓練大模型,在此基礎上采用有監督精調、人類反饋強化學習、提示等技術,具備知識增強、檢索增強和對話增強的技術優勢。
文心一言的基礎模型5月升級至文心大模型3.5,在基礎模型升級、精調技術創新、知識點增強、邏輯推理增強、插件機制等方面創新突破,取得效果和效率的提升。
今天發布的文心大模型4.0,相比3.5版本,理解、生成、邏輯、記憶四大能力都有顯著提升。其中理解和生成能力的提升幅度相近,而邏輯和記憶能力的提升則更大,邏輯的提升幅度達到理解的近3倍,記憶的提升幅度也達到了理解的2倍多。百度基于文心大模型研制了智能代碼助手Comate,從內部應用效果來看,整體的代碼采納率達到40%,高頻用戶的代碼采納率達到60%。
據悉,文心大模型4.0在9月已開始小流量上線,過去一個多月效果又提升了近30%。訓練算法效率自3月以來已累計提升3.6倍,周均的訓練有效率超過98%。文心大模型4.0基本技術架構與3.0和3.5版本一脈相承,并在多個關鍵技術方向上進一步創新突破。
在萬卡算力上運行飛槳平臺,通過集群基礎設施和調度系統、飛槳框架的軟硬協同優化,支持了大模型的穩定高效訓練。建設了多維數據體系,形成了數據挖掘、分析、合成、標注、評估閉環,充分釋放數據價值,大幅提升模型效果。基于有監督精調、偏好學習、強化學習等技術進行多階段對齊,保證模型更好地與人類的判斷和選擇對齊。可再生訓練技術通過增量式的參數調優,有效節省了訓練資源和時間,加快了模型迭代速度。
此外,文心大模型4.0在輸入和輸出階段都進行知識點增強。一方面,對用戶輸入的問題進行理解,并拆解出回答問題所需的知識點,然后在搜索引擎、知識圖譜、數據庫中查找準確知識,最后把這些找到的知識組裝進Prompt送入大模型,準確率好,效率也高;另一方面,對大模型的輸出進行反思,從生成結果中拆解出知識點,然后再利用搜索引擎、知識圖譜、數據庫,以及大模型本身進行確認,進而對有差錯的點進行修正。
在強大的基礎大模型的基礎上,百度進一步研制了智能體機制,包括理解、規劃、反思和進化,能夠做到可靠執行、自我進化,并一定程度上將思考過程白盒化,讓機器像人一樣思考和行動,自主完成復雜任務,在環境中持續學習實現自主進化。
文心一言助力國圖館藏文化資源活化 升級國家跳水隊AI輔助訓練系統
百度已經與中國國家圖書館展開戰略合作,發揮各自的資源、技術和服務優勢,共同推動文化資源和知識服務智能化,普惠大眾。國家圖書館擁有全球最大的古代方志,利用文心大模型學習古代方志與家譜數據,幫助全球華人獲取更多尋根線索。王海峰現場分享了海外華人趙佩娟延續祖父鄉愁,成功“尋根”的故事。
中國國家跳水隊教練、奧運五金王陳若琳和奧運冠軍全紅嬋、陳芋汐、王宗源也來到世界大會現場,與王海峰熱切互動,解密夢之隊訓練“獨門絕技”。基于文心一言等百度大模型技術,中國國家跳水隊AI輔助訓練系統全面升級,通過從海量數據和知識中學習,掌握了豐富的跳水知識,理解和執行教練員和運動員的復雜指令,及時提供準確信息,并對動作實時打分、精準量化分析,提供最有價值的指導信息,助力中國國家跳水隊高效訓練。
現場,陳若琳受中國游泳協會主席周繼紅委托,授予百度為“中國國家跳水隊人工智能合作伙伴”。陳若琳表示,中國國家跳水隊與百度從2019年就開展了深入的技術合作,攜手走過了東京奧運會、福岡世錦賽、杭州亞運會,目前正在備戰明年巴黎奧運會。“感謝百度一直以來提供的技術支持與服務,未來雙方將攜手持續用人工智能技術幫助跳水隊智能訓練,通過科學訓練提升競技水平。”
百度人才培養星河計劃發布 再培養500萬大模型人才
王海峰現場公布了百度人工智能人才培養的最新數據,百度在2020年提出5年為全社會培養500萬AI人才,截至目前,百度已經培養了420萬AI人才。
當下,大模型成為人工智能發展的熱點方向,進一步加速產業變革,AI人才培養也需與時俱進。王海峰發布了百度人才培養星河計劃,他表示,“我們將與產學研各界密切合作,深化產教融合,為社會再培養500萬大模型人才,讓人工智能科技的‘創新之花’,結出更多‘產業之果’,服務國家戰略,服務社會發展,服務人民福祉!”
審核編輯:劉清
-
人工智能
+關注
關注
1791文章
47183瀏覽量
238262 -
文心一言
+關注
關注
0文章
124瀏覽量
1275 -
大模型
+關注
關注
2文章
2423瀏覽量
2643
原文標題:百度CTO王海峰:文心大模型4.0首發,文心一言用戶規模已達4500萬
文章出處:【微信號:baidu_2000,微信公眾號:百度】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論