從物理學到經濟學、商學當中,有一個著名的“飛輪效應”(Flywheel Effect),是指剛開始推動飛輪旋轉時,需要花費非常大的力氣卻轉速很慢,而一旦速度達到某個臨界點后,飛輪就會非常輕松地高速運轉。這一原理能應用到方方面面,比如健身最難熬的是前幾天,一旦形成習慣就會越來越輕松。
一個企業,一個行業要顯現飛輪效應,需要讓各個業務模塊、技術模塊之間形成如齒輪咬合般的帶動關系。初期要承受巨大的探索壓力,而當飛輪踏上正軌,就會發展迅猛,領先優勢不斷加大。
AI大模型,正顯現出如此前互聯網產業一樣的“飛輪效應”。
10月17日,以“生成未來”為主題的百度世界2023在北京首鋼園舉辦。其間,百度CEO李彥宏表示,“大模型正成為新型工業化的重要推動力”,并且表示,文心大模型4.0實現了基礎模型的全面升級,在理解、生成、邏輯和記憶能力上都有著明顯提升,綜合水平“與GPT-4相比毫不遜色”。
為什么在極短的時間內,業界關注重點就從“中國能否有大模型”,變成了“文心大模型與GPT-4”并駕齊驅?文心大模型飛速進化背后的奧秘是什么?
同樣在百度世界大會期間,百度首席技術官王海峰解讀了文心大模型4.0背后的關鍵技術和最新進展。
在這當中,我們能讀懂文心大模型如何全維度發力,造就了屬于AI時代的飛輪效應。
技術飛輪,文心大模型4.0全面進化
文心大模型已經顯現出飛輪效應的證據是多方面的。從體驗效果、用戶規模、落地場景三個最主要領域來考察,都可以發現文心大模型處在難以置信的進化速度當中。
王海峰介紹,文心大模型4.0的理解、生成、邏輯、記憶四大能力都有顯著提升,9月已開始小流量上線,過去一個多月效果又提升了近30%。8月31日文心一言面向全社會開放至今,用戶規模已經達到4500萬、開發者5.4萬、場景4300個、應用825個、插件超過500個。
在各界非常關注的代碼生成領域,基于文心大模型研制的智能代碼助手Comate,在百度內部應用效果良好,整體代碼采納率達到40%,高頻用戶的代碼采納率達到60%。目前階段,百度每天的新增代碼中有20%是由Comate所生成。
而這些數字,還在快速增長。
文心大模型能夠快速更新至4.0版本,并且體驗與成績不斷提升,背后的邏輯是什么?
答案在于,百度通過多年在深度學習基礎技術以及模型訓練、推理、應用等方面的布局積累,已經構筑了大模型層面的全棧技術優勢。換言之,百度已經率先度過了飛輪效應的投入期。聚集起來的技術動能不斷累加,讓文心大模型的“技術飛輪”高速運轉。
縱觀文心大模型的升級之路,就可以清楚地看到飛輪效應的運作模式。文心大模型自誕生起,就準確把握了知識增強和產業級兩大關鍵突破點,既集成了百度的AI技術優勢,又找準了未來的可持續發力方向。今年5月,作為文心一言的基礎模型,文心大模型升級到3.5版本,就在基礎模型升級、精調技術創新、知識點增強、邏輯推理增強、插件機制等方面實現了全面突破。而到4.0版本階段,其基本技術架構與3.0和3.5版本一脈相承,并且在多個關鍵技術進一步突破。回顧文心大模型的升級歷程,可以發現在練算法效率方面,3月份以來文心已累計提升3.6倍,訓練穩定性方面,周均訓練有效率已超過98%。
帶著百度超過十年積累的AI技術與研發矩陣,文心大模型4.0展現出了巨大的升級幅度。我們可以將其關鍵節點,總結為三個強化:
1.模型強化。
模型訓練、推理能力,是大模型的基礎,也是大模型走向產業化的核心。在這方面,文心大模型4.0延續了此前的高速進化模式。通過在萬卡算力上運行飛槳平臺,構筑集群基礎設施和調度系統、飛槳框架的軟硬協同優化,支持了文心大模型的穩定高效訓練。
同時,百度還構建了多維數據體系,形成了數據挖掘、分析、合成、標注、評估閉環,可以充分釋放數據價值,大幅提升模型效果,并且基于有監督精調、偏好學習、強化學習等技術進行多階段對齊,保證模型更好與人類的判斷和選擇對齊,再通過可再生訓練技術完成增量式的參數調優,節省了訓練資源和時間,加快了模型迭代速度。
由此可見,文心大模型保持高效、大幅的迭代,原因是由多方面構成的。算力平臺、數據平臺、訓練工具,以及一系列新型模型訓練技術都參與其中。尤其與飛槳的聯合調優,不斷扮演著更加重要的角色。
2.知識強化。
文心大模型實現了準確率好,效率也高,關鍵在于知識點增強技術的運用。而在文心大模型4.0階段,知識點增強技術開始應用于輸入和輸出的雙階段。在用戶輸入問題時,文心4.0會拆解回答問題所需的知識點,進而在搜索引擎、知識圖譜、數據庫中查找準確知識,再將知識組裝進Prompt送入大模型。另一方面,大模型還將對輸出結果進行反思,從生成結果總結知識點,進而通過以上方式進行確認驗證,對結果差錯進行修正。
如此一來,相當于大模型既要理解用戶提到的知識,又將反思自身輸出的知識。我們發現大模型偶爾會“胡說八道”,甚至懷疑輸出結果,知識點增強的雙向運用,將極大提升生成內容準確率。
3.機制強化。
近段時間以來,智能體機制得到了行業的廣泛關注,成為大模型發展新的風口。在這一方面,百度進一步研發了智能體機制,包括理解、規劃、反思和進化,能夠做到可靠執行、自我進化,并將智能體的思考過程白盒化。從而讓AI可以具有與人類相近的理性思考能力,由此可以自主完成復雜任務,在環境中持續學習實現自主進化。
可以看到,文心大模型的核心技術升級環環相扣,彼此推動。在大模型訓練效率、AIGC效果、前沿技術探索等方面構成了正向的驅動循環。比如說,文心與飛槳的聯合優化,目前可以看到價值越來越大,對于模型迭代效率提升、模型成本降低等方面有著巨大的作用,而這就是將百度潛心打造十年的深度學習開發平臺能力,釋放到了大模型當中。
高投入,廣積累、堅持前沿探索,把核心技術組成環環相扣的齒輪。
這種技術戰略的堅定篤行,正在全球AI賽道中進化著文心大模型的飛輪效應。
應用飛輪,行業落地全面深化
從技術飛輪向外看,大模型必須帶動場景的飛輪旋轉,才能最終讓技術獲得價值。在這方面,可以看到文心大模型正在破解應用道路上的關鍵難題:深度。
從目前來看,文心大模型帶來的應用價值,已經能給出肯定的回答。在百度世界大會現場,王海峰分享了兩個大模型的應用案例。
其一是百度與中國國家圖書館展開戰略合作。利用國家圖書館擁有的全球最大古代方志資源,文心大模型通過學習古代方志與家譜數據,從而幫助全球華人獲取尋根線索,實現尋根愿望。在這一場景中,我們可以看到使用了方志這種極少見、非傳統的數據資料,極度考驗大模型的理解與邏輯能力。而最終文心大模型經受了考驗,構筑了海外華人夢回鄉梓的智能之橋。
其二是百度與國家跳水隊合作,基于文心一言等百度大模型技術,幫助國家跳水隊實現AI輔助訓練系統全面升級。大模型通過掌握豐富的跳水知識,理解和執行教練員和運動員的復雜指令,及時對運動員的動作進行實時打分、完成精準量化分析,提供有價值的智能化指導。
這兩個場景,全面展示了文心大模型4.0的場景應用深度。在技術不斷提升的情況下,大模型的行業落地門檻不斷降低,應用空間不斷加大。各行業都愿意來和百度合作,探索大模型的可能性。
這些行業的意愿與探索,形成了應用合力,正在千行百業中深化著文心大模型的飛輪效應。
人才飛輪,大模型人才培養全面強化
大模型時代的最終需求是什么?從2012年以來開啟的AI熱潮其實早就告訴了我們答案:智能化,最終靠人才。巨大的人才缺口、難以獲得的教育資源、不連貫的產學研合作,始終是困擾AI技術發展的根本難題。
為了解決這個問題,需要各界的攜手發力,也需要頭雁企業的抉擇與擔當。我們還記得,百度早在2020年就提出了5年為全社會培養500萬AI人才的目標。如今來看,這一目標的提出和推進,對今天中國大模型事業的發展起到了底座與引擎的作用。在百度世界大會現場,王海峰公布了百度AI人才培養的最新數據,面向5年培養500萬AI人才的目標,截至目前百度已經培養了420萬AI人才。但顯然,大模型的到來將加大AI人才缺口,給AI人才培養帶來新的課題與挑戰。
在這方面,可以看到百度主動承擔起了大模型時代的人才培養承諾。為了高強度培養了解大模型技術,適應大模型發展需求的人才,王海峰發布了百度人才培養的“星河計劃”。他表示:“我們將與產學研各界密切合作,深化產教融合,為社會再培養500萬大模型人才,讓人工智能科技的‘創新之花’,結出更多‘產業之果’,服務國家戰略,服務社會發展,服務人民福祉。”
人才是持續發展的根本,是創新可能性的來源。持續的人才培養投入,不斷完善和升級的人才培養模式,都強化了這種原動力。
來自“星河計劃”中的500萬大模型人才,將在更廣闊的未來,強化文心大模型的飛輪效應。
一個飛輪,萬個飛輪
從一個算力節點,一項訓練方案,一項算法機制的創新,到千萬家企業的參與,千萬個行業的參與,千萬名開發者的參與。文心大模型的飛輪結構正在變得愈發緊密,聯接范圍變得更加廣闊。
一項大模型核心技術的升級,或許就將通過某個Prompt改變一個人的生活,通過某個AI原生應用影響一家企業的發展,通過某個落地場景升級一個行業的生產力。當技術、產業、人才的飛輪全速轉動,我們就將進入真正的大模型時代。
文心大模型4.0的飛輪效應,其實是一個縮影。其明確從啟動期進入飛速提升期,意味著中國大模型產業的整體進化速度更快、核心競爭力更強,從全球AI機遇的參與者逐漸變成引領者。
中國大模型的技術正不斷加快,核心創新正不斷增強,從文心大模型4.0的理解、生成、邏輯、記憶能力全面提升中就可以看到。
中國大模型的產業門檻不斷下降,各行業的AI原生應用可能性極大增強。在國家圖書館、中國跳水隊的智能化嘗試中就可以看到。
中國大模型的人才培養路徑更加清晰,人才供給更加完善,創新動力源源不絕,在500萬大模型人才培養計劃中就可以看到。
目前的實際情況是,中國大模型產業正在踏上正軌。領軍企業有能力也有雄心,在大模型時代完成更大的探索和突破。文心大模型4.0可以與GPT-4并駕齊驅,答案正在于此。
文心大模型的飛輪,帶動百度的AI飛輪;百度的一個飛輪,又會通過各種平臺、應用、工具與合作通道將影響力擴散,帶動千行百業的萬個飛輪。
文心4.0的飛輪轉動,中國智能化的飛輪轟鳴。
大模型的列車,正疾馳在智能中國的鐵軌上。去下一站,去更遠的一站,去星辰大海之間。
-
AI
+關注
關注
87文章
30728瀏覽量
268892 -
百度
+關注
關注
9文章
2268瀏覽量
90363 -
文心一言
+關注
關注
0文章
124瀏覽量
1275 -
大模型
+關注
關注
2文章
2423瀏覽量
2645
發布評論請先 登錄
相關推薦
評論