大模型,已經變成今天AI產業最為關注、最受期待的技術方向,甚至沒有之一。
其原因在于,大模型帶來了強大的泛化能力以及優異的效果,并且能夠實現AI模型研發-部署-應用的標準化提升。這些價值與各界對AI工業化、大規模部署的期待不謀而合。于是,通過大模型進入AI工業大生產時代,已經在業界凝聚了高度共識。
近兩年,圍繞大模型的技術創新、工具創新層出不窮。在繁花似錦的整體趨勢下,我們似乎也能看到隱藏的問題。比如大模型的門檻依舊偏高,與產業結合更多偏向案例性質,大范圍應用還有非常多的挑戰。參數繁榮、技術繁多、種類繁復的大模型,正有待迎接一次轉變。
11月30日,由深度學習技術與應用國家工程研究中心主辦、飛槳承辦的WAVE SUMMIT+ 2022在線上舉行。期間,圍繞文心大模型的一系列更新、升級引發了開發者廣泛關注。如果我們為文心大模型的升級進行一個簡要描述,或許可以用到“化繁為簡”這個詞。
峰會期間,百度首席技術官、深度學習技術及應用國家工程研究中心主任王海峰提出,深度學習平臺加上大模型,貫通從硬件適配、模型訓練、推理部署到場景應用的AI全產業鏈,夯實產業智能化基座,將進一步加速智能化升級。
而在構建智能化基座的過程中,大模型的產業化路徑,必然是要封裝復雜的模型生產過程,從而高效支撐千行百業應用。
大模型的復雜技術與研發挑戰,應該是停留在產業上游的。具有算法、算力和數據綜合優勢的企業,應該將模型生產進行封裝,在產業鏈上游就解決大數據、大算力、大模型的能力挑戰。這樣,應用場景與企業用戶、開發者,將得到簡單、易用、工業化的大模型能力。只有這樣,大模型才能真正落下去、推廣開。
兩點之間,直線最短。大模型已經來到了化繁為簡的臨界點,而百度正在用飛槳+文心大模型,在技術與產業之間畫出這條直線。
在路上的大模型,需要化繁為簡
討論大模型的新升級、新發展思路,必須建立在對大模型產業化的客觀理解上。
在目前階段,大模型正處在高速發展期。我們近乎每個月,甚至每星期都可以看到產業界、學術界公布大模型創新。并且在今天,已經很少看到大模型創新過分執著參數對比,更多是進行不同技術路線、不同應用領域的多樣化創新。
與此同時,伴隨著大模型種類、功能的繁復多樣,輔助大模型的開發工具、軟硬件基礎設施、開源開放平臺也豐富了起來。圍繞大模型的產業生態開始壯大。
然而在這種情況下,我們依舊會發現大模型發展中有一個客觀存在的核心問題:產業主要提升的,是“訓大模型”的能力,而不是“用大模型”的能力。
一般來說,前者關注如何讓大模型更加“繁華”;但后者卻需要考慮實際場景,消弭應用門檻。在某種程度上需要反過來,化繁為簡。
很多產業都在理論上、需求上適合大模型落地。但在實操過程中將面對一系列適配問題。比如說:
1.自己開發大模型難度太大,訓練成本、存算成本過高。開發工具與社區支持也不足。
2.想要應用成熟的大模型,又往往缺少產業示范與行業路徑。不知道自己的行業該用哪種大模型,行業知識與行業需求如何與大模型對齊。
3.即使選到想用的大模型,又會發現本地環境難以兼容適配。大模型應用的工程化能力很難讓人滿意。
面對這些問題,千行百業需要從基礎模型、開發工具、開發社區,到行業路徑的一系列幫助與加持,打通從大模型到產業的一系列關節。這種圍繞行業需求與產業應用進行創新,而不是圍繞大模型本身進行提升的思路,就是百度發展文心大模型,以及構建飛槳+文心產業智能化基座的獨特思路。
WAVE SUMMIT+ 2022所展現的,就是這種思路的進一步完備與壯大。
為行業找路徑:行業大模型已蔚為大觀
行業需求與AI技術對齊,這件事本身經歷了漫長的發展,在今天已經挑戰重重。而當行業面向大模型這個更新、更強的技術時,需求難以對齊的矛盾就會更加明顯。
面向這種困難,只有一個個行業去探索,在重點行業形成有效的大模型落地參考路徑。這或許是“最重”的選擇,但同時也是“最優解”。
今年5月,文心大模型面向具體的行業需求,發布了行業大模型這一全新發展路徑。其通過文心大模型的基礎模型能力,搭配對海量行業數據的挖掘,以及由合作機構、行業客戶提供的行業特色數據和知識,加上行業特色的專家經驗多方結合,進行相應的行業訓練任務設計,最終形成了文心行業大模型。
在于行業結合的過程中,文心大模型知識增強與產業級兩大特色得以充分發揮,形成了行業知識增強的關鍵路徑。這一路徑不僅解決了大模型的應用挑戰,還凝結成了一系列面向重點行業的大模型產業落地方法。實現了大模型在行業場景中“不但能用還便捷好用”的價值。
在本次峰會上,文心行業大模型持續升級,在原有能源、金融、航天、傳媒等行業的基礎上,進一步升級到了11個行業大模型,將行業大模型延伸到了制造業、城市管理、汽車等關鍵領域。可以說,行業大模型已經從先鋒、探索性質,發展到了覆蓋行業眾多、體系完備的新階段。從應用效果與行業覆蓋上來說,都已經實現了蔚為大觀。
舉個例子,智慧城市建設是數字中國的重點發展方向。在今天,中國所有地級市都已經有智慧城市項目落地。而大模型與智慧城市的結合,在目前階段還非常新穎。
在哈爾濱,近年來冰城探索了一系列AI技術賦能城市高質量發展、東北老工業基地振興的嘗試,取得了顯著成效。而就在剛剛,哈爾濱市政府攜手百度,聯合發布面向城市領域的行業大模型——冰城-百度·文心。
冰城-百度·文心大模型,可以將城市中跨業務、跨結構、跨部門的數據知識和多種任務算法進行融合,基于百度文心NLP大模型ERNIE 3.0,打造統一預訓練模型,提供強大的語言理解、語義分析等能力,支撐城市中各領域的AI規模化效果提升。文心行業大模型,至此可以從城市治理、產業發展、公共服務等多個領域支持哈爾濱的數字化發展。從產業路徑上看,這一聯合發布、聯合打造,將大模型與智慧城市需求有效結合在了一起。為更多城市獲得大模型價值提供了參考路徑。
如今,行業大模型已經在多個領域取得可信的成果。比如文心大模型與電影頻道結合,可以實現每天修復28.5萬幀老舊影片。即使是精修,文心大模型的修復速度也較人工效率提升了3到4倍。在能源、金融等一系列領域,行業大模型已經形成了產業智能化的發展路標。
當然,除了行業大模型之外,文心大模型還以更多方式融入更廣泛的行業應用。比如從2019年3月文心ERNIE1.0發布以來,幾乎百度全系列產品都在逐步使用文心大模型。在千行百業,文心大模型已通過飛槳開源開放平臺、百度智能云等賦能到工業、能源、金融、通信、媒體、教育等各行各業。
行業有路徑,是文心大模型持續升級的首要目標。
為應用備技術:從模型、工具到應用的全線升級
如果說,大模型通向行業,與行業需求、行業知識融合的大模型向產業的縱向打通。那么大模型對各種開發需求、應用需求的覆蓋,就是大模型走向產業的橫向能力打開。
在真實的應用場景中,企業和開發者需要接入大模型的方式是十分多樣的。有的企業確實需要自己開發大模型;也有企業需要以最低成本完成大模型適配;還有一些企業可能需要具有特殊能力的模型;有一部分企業需要產品級、可API接入的大模型能力。
只有從模型到工具,再到產品、社區都有完善、完整的技術儲備,才有能力降低大模型應用門檻,才有機會成為產業智能化的基座。
為此,百度全面升級了文心大模型的全景圖,既豐富了大模型的種類。同時也在大模型開發工具、產品能力、社區建設上進行了升級。
大模型因“大”而效果好,同時在產業應用中也會因為“太大”而難以落地部署。為了解決這個問題,百度全新發布了ERNIE 3.0 Tiny模型。其通過將千億模型作為教師模型,經過知識蒸餾等方式,可以形成一系列輕量化模型。最終實現在效果損失非常有限的情況下,模型體量變小,但較比傳統模型卻有數十倍、上百倍的性能提升,以此滿足產業場景的真實應用需求。
同時,在跨模態領域,百度發布跨模態理解大模型ERNIE ViL 2.0、跨模態生成大模型ERNIE ViLG 2.0、文檔智能大模型 ERNIE-Layout。在生物計算方面,最新發布了蛋白質預測模型HelixFold-Single。而在任務大模型方面,則發布了代碼大模型ERNIE-Code。其可以通過多語言學習的形式,在語料上更加豐富多樣,使得模型能力更強,并且能夠支持多個語種。
在一系列新加入的模型之外,百度也在推動大模型開發工具建設、產品化升級與社區建設。在工具與平臺的技術升級上,百度提供面向場景化,以及行業大模型的配套能力。比如在模型精調方面提供的技術工具更加豐富,大模型的API當中將包含更豐富的精調能力。同時,在大模型訓練中也會添加一系列可信學習工具,滿足開發者對大模型的安全、可控需求。
在文心大模型的產品和社區方面,百度保留了旸谷社區作為創意社區。同時增加了兩款以大模型為核心驅動的產品。這些產品既可以直接賦能給有相關需求的產業用戶和泛科技用戶,豐富大模型的應用價值。同時也為行業起到了示范作用,展示了大模型產品化的技術路徑。
在最近備受關注的AIGC方面,百度打造的文心一格,在本次峰會上進行了一系列新能力的發布。比如近期非常火爆的以圖生圖能力、圖片通過文字進行編輯的能力,以及一鍵生成視頻的能力。
另一項產品升級,是以大模型核心驅動的搜索產品“文心百中”。這一產品由百度搜索與文心大模型聯合研制,可以滿足開發者和企業用戶的垂直搜索、企業搜索需求。其本身具有極簡的邏輯架構,以及強大的語義理解能力,并且可以極大降低搭建垂直搜索帶來的數據成本與人力成本。“文心百中”,可以說從搜索這個全新層面,向業界展現了大模型的應用價值與產業空間,并且同樣也指向著清晰的應用場景。
從新的模型、新的工具,到產品與社區的升級,文心大模型可以說從多角度、全方位升級了技術儲備。這些技術能力對應著不同類型開發者、企業對大模型的多樣化需求。只有滿足這些具體的需求,打通一個個關隘,大模型才能去向它最應該去的地方——應用。
為智能筑底座:飛槳+大模型,畫出一條直線
兩點之間,直線最短。但大模型與產業之間,往往會因為技術路線分歧、訓練部署環境、行業知識無法對齊,而要七拐八拐,走大量彎路。這些彎路的存在,自然有大模型發展過程中的一系列客觀因素的影響,但同時也確實影響著大模型的應用效率、產業效能。
為了解決這些問題,百度的思考是盡量畫一條直線,讓開發者與行業可以不走彎路,以最高效率直接抵達大模型的內在價值。
這條直線,需要包含工具集成性、技術豐富性、行業路徑完善性等等價值。只有把這些能力合而為一,才能實現將化繁為簡的目標。面向大模型的產業需求、應用場景,不僅需要做到有模型、有工具,同時需要將大模型與深度學習平臺結合起來,滿足企業、開發者從算力到應用的全流程需求。
為了更好幫助企業與開發者,實現從開發大模型到應用大模型的全流程實踐,百度勾勒出了飛槳+文心,即深度學習平臺+大模型的產業路徑。二者結合,開發者可以獲得從算力、框架、模型庫,再到大模型調用、大模型行業化的所有能力,獲得了完善、穩固的產業智能化基座。自然也就完成了從大模型到產業的最短距離直達。
為了與文心大模型一道構建產業智能化基座,飛槳也進行了一系列升級。最新發布的飛槳核心框架2.4版本,就著重對大模型開發進行了一系列功能的支持,以及面向大模型推理部署需求提供了一系列模型封裝能力,并且提供簡單易用的模型開發工具。飛槳企業版AI開發平臺EasyDL和BML也圍繞大模型的技術應用進行了全新升級,在業界首發端到端大模型開發套件PaddleFleetX。發布了提供全流程開箱即用的大模型平臺能力,加速大模型的產業落地。
至此,我們可以看到百度在搭建飛槳+文心產業基座,賦能大模型開發過程中的清晰思路:大模型并不僅僅是某種技術的創新,或者一個平臺的搭建。而是需要從最終用戶,最開發者與企業的應用需求出發。一步步倒推需要哪些支持,每一個環節還有哪些阻礙?
只要將這些阻礙一個個解決掉,將支持一個個搭建好,將所有復雜且具有挑戰的事先行完成,那么開發者和企業最終就將得到最簡單、可用的大模型。大模型與產業之間,也就實現了兩點之間,直線最短的連接。
這就是百度式的大模型發展思路,這就是化繁為簡歸文心。
審核編輯黃昊宇
-
AI
+關注
關注
87文章
30763瀏覽量
268906 -
模型
+關注
關注
1文章
3229瀏覽量
48812 -
大模型
+關注
關注
2文章
2427瀏覽量
2647
發布評論請先 登錄
相關推薦
評論