色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

百度平地起“雷”,突然爆出的QPS數據意味著什么?

腦極體 ? 來源:腦極體 ? 作者:腦極體 ? 2023-04-24 09:16 ? 次閱讀

魯迅先生1923年在北師大發表了著名的演講《娜拉走后怎樣》,其中的提問與思考方式振聾發聵,直到今天也依舊有效。面對很多產業現象、技術趨勢,我們也不妨多問幾個“之后怎樣”。

比如說,自ChatGPT爆火之后,中國各個互聯網、科技公司競相推出了自己的大語言模型及相關應用。其實,關于中國能否有ChatGPT我們從未擔心過,而問題的關鍵在于“之后怎樣”。

層出不窮的大語言模型,讓人眼花繚亂。但如此多的大模型,差異化和競爭力從何而來?能否順利、低成本實現產業落地?能否有效支持模型的快速迭代?

發布大模型并不是終點,而是一場新長跑的起點。如果不能有效回答這些問題,那么大模型也最終會像其他技術風口一樣,倏忽而來,倏忽而去。

wKgaomRFKEaAAgTRAAHnJ5bHvJE167.jpg

慢慢地,“大模型之后怎樣”這個問題,也開始有了答案。4月23日,我們看到一份百度文心一言內部流出的會議紀要。其中顯示,從3月開始,文心一言啟動邀測后的一個多月內,其模型已經迭代了4次,最近一次帶來的推理效果提升了達到123%。

到底是什么支持文心一言完成了這種超越常規的迭代速度?

這個“秘密”或許正是中國大模型走向未來所需要的動力,也是“大模型之后怎樣”的某種答案。

內部會議紀要,透露出文心一言的奔跑速度

根據內部紀要內容顯示,文心一言在開啟邀測后用戶數與同時在線人數都極速增長,面臨這種情況,文心一言需要及時獲得更快的響應速度。我們知道,機器學習類模型的應用邏輯包含數據準備—模型訓練—模型推理幾個步驟。文心一言面臨的響應挑戰,就是需要及時強化模型的推理能力。

wKgZomRFKEeAYVpUAAEMHTVFrJ4910.jpg

為了實現這個目標,百度對文心一言進行了模型層與框架層的聯合優化,從而在一個月內迭代了4次,實現了模型推理能力的極大提升。

是什么讓文心一言獲得了這樣的奔跑速度?這就要提到百度飛槳“提前”做好的準備。作為深度學習開發平臺,飛槳可以支持AI模型從訓練到推理的全流程落地。其中,飛槳模型推理服務就可以有效支持大模型升級,這一服務在4月19日剛剛再次迭代,已迭代至3.5版本,它的特點是在業內首創了支持動態插入的分布式推理引擎,從而可以更有效完成龐大數據規模的AI模型進行推理部署。

至此我們可以從這份內部紀要中知道,文心一言能夠快速持續迭代,并且低成本落地應用的關鍵,就藏在這里——飛槳與文心一言聯合優化。

wKgaomRFKEiAIQspAAFfWi1jZBY802.jpg

從結果上看,聯合優化帶來的價值非常顯著。飛槳幫助文心一言實現了模型推理效率提升10倍,模型推理性能提升50%,模型算力利用率提升1倍。其中,模型推理效率提升10倍,意味著推理成本降低為原來1/10,或者可以為10倍數量的用戶提供服務;模型推理性能提升50%,意味著飛槳可以幫助文心一言工藝更精密,模型的學習效果與魯棒性更強;模型算力利用率提升1倍,是由于飛槳向下兼容到芯片,實現全棧聯合優化,從而可以極大降低文心一言的算力開銷。

從這幾個方向可以看出,飛槳為文心一言帶來的價值,是持續性且多方面的,其中最重要的是,飛槳讓文心一言可以持續性、低成本向前奔跑,不斷進化。

這也恰好解釋了這個問題:大模型,路在何方?

飛槳,讓大模型節奏飛起的AI引擎

在ChatGPT全球化爆火,各家廠商、投資人,都在不遺余力地擠上大模型賽道。這種情況當然可以理解,但也必須看到,這條賽道不僅門檻高、入局難,在入局之后構建持續競爭力同樣很難。

大模型意味著龐大的算力開支、數據開支,以及更為恐怖的模型迭代成本。入局大模型之后,必須根據用戶反饋快速迭代,高效率升級,否則一不小心就會掉隊,在第一輪風口過去后陷入行業洗牌,緊跟行業趨勢,不斷推動模型升級,又會面臨巨大的工作量與模型推理成本。

這個兩難選擇并不遙遠,很快就會成為困擾大量新玩家的頭疼問題。

而多年部署AI基礎設施與基礎技術的百度,其優勢就在這時顯示了出來。飛槳與文心一言的聯合優化,讓文心一言在訓練和推理過程中效率大幅提升,實現了真正的人家起跑,我已經幾輪加速,節奏快到飛起。

大模型與AI開發平臺,是相輔相成、互為表里的關系。比如有分析人士解讀認為,“大模型就仿佛汽車的發動機,光賬面上的動力強,參數大是沒有用的,要壓榨出發動機瞬時最大爆發力(QPS)以及最優的性能表現。深度學習框架就像是生產發動機和變速箱的,可以讓發動機整體部件組合更精密、動力更強。自研產品彼此適配度更高,協同會更高效,這可能是效率提升的最根本原因。”依托風口入局大模型,終歸會有一種空中樓閣的隱憂,至少難以將全面的技術棧掌握在自己手中,實現更高效、可控的模型升級。

由此可見,大模型走向成功,除了算力、數據的基礎之外,深度學習框架同樣扮演著關鍵角色。面對紛繁而出的大模型,百度文心系列大模型的差異化優勢,也就在百度十年搭建的飛槳平臺中展露了出來。

而當我們把大模型與飛槳的聯動關系,放到科技自立自強的戰略高度來審視。又會發現一些別樣的答案:飛槳既是百度的AI護城河,也是中國大模型的動力引擎。

中國AI,勝負系于工程化

最近,我們能看到很多大語言模型的發布會,差不多每一家都會說,我們目前確實不如ChatGPT,以后繼續努力。

那么問題來了,怎么努力?

事實上,努力不是說說就行了,而是要找到方式和方法。ChatGPT代表的算法優勢、人才優勢、算力優勢都是短期很難抹平的,至少看不到可以快速超車的戰略空間。中國AI想要走通大模型這條路,就只能揚長避短,而中國AI的優勢在哪呢?從百度流出的內部會議紀要中其實已經告訴了我們答案:工程化。

通過飛槳長期堅持的AI工程化路徑的掌握與打磨,我們可以看到百度發展大模型的獨特優勢,同時也可以看到中國AI整體性的戰略機遇。

首先,對于百度內部來說,通過飛槳牢牢把控工程化能力,可以提升文心一言的迭代速度,降低算力、人工、數據等開銷,從而讓文心一言能夠在同等成本下服務的用戶更多,適配產品的效率更高。這就像同樣從一處名叫“大模型”的深海油井取得原油,飛槳就像一艘輪船,船速更快,運量還大,而其他人在用帆船運輸。效率意味著成本,成本意味著商業化可能性,這就是飛槳的價值,也是AI工程化能力的魅力。

從百度向外看,飛槳帶來的工程化能力,意味著文心系列大模型的推理成本更低,繼而導致其在各行業、各場景中的落地成本更低。這對于文心大模型融入行業,通過產業智能化產生價值是個重大利好。大模型走向千行百業,是今天每家公司都在喊的口號,但這個過程中,一定不能把模型落地成本全部轉嫁給行業用戶。消解這一成本的關鍵,也在于飛槳代表的工程化路徑。

wKgaomRFKEmAQy1MAAEv39zd6SM408.jpg

最后,當大模型已經上升為國家戰略,我們必須看到AI框架在科技自立自強進程中扮演的角色。如果事關國計民生,每天與無數國人進行問答的大模型,建立在其他國家的框架上,那么其危險系數可想而知。當大模型愈發重要,關注并持續解決深度學習框架卡脖子的隱憂就更加重要。

而從另一個角度看,AI框架與AI開發平臺代表的AI工程化能力,是中國AI技術最亮眼、最特殊的部分。這一部分下接芯片,上達應用,通向千行百業的AI開發需求,恰好是AI技術中的戰略要沖所在。中國AI能否揚長避短,實現超車,極大概率就系于工程化能力的建設與發揮,系于AI框架與產業智能化的連接中。

中國大模型,就是行業大模型,就是強工程化、強落地性的大模型,只有走通這條路,中國AI才有未來。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 百度
    +關注

    關注

    9

    文章

    2270

    瀏覽量

    90439
  • QPS
    QPS
    +關注

    關注

    0

    文章

    24

    瀏覽量

    8812
  • 深度學習
    +關注

    關注

    73

    文章

    5504

    瀏覽量

    121217
  • ChatGPT
    +關注

    關注

    29

    文章

    1563

    瀏覽量

    7754
  • 文心一言
    +關注

    關注

    0

    文章

    124

    瀏覽量

    1285
  • 大模型
    +關注

    關注

    2

    文章

    2475

    瀏覽量

    2783
收藏 人收藏

    評論

    相關推薦

    百度科啟動“繁星計劃”

    近日,百度科攜手中國科協、中國科學院大學共同舉辦了史記2024·科學科100詞發布會,并在此盛會上正式啟動了“繁星計劃”。這一計劃的核心目標在于利用前沿的AI技術,包括數字人、智能體等,以及
    的頭像 發表于 12-31 10:26 ?102次閱讀

    百度進軍短劇領域,計劃全面升級平臺

    。這一舉動無疑預示百度正在積極布局短劇市場,進一步拓展其內容生態。 對于此次進軍短劇領域的舉措,百度相關負責人給出了積極的回應。他表示,短劇作為當前內容生態的一個重要發展方向,已經受到了越來越多的關注和喜愛。
    的頭像 發表于 12-19 10:25 ?169次閱讀

    百度正式回應進軍短劇領域

    近日,百度在線網絡技術(北京)有限公司在知識產權領域有了新的動作,據天眼查信息顯示,該公司已申請注冊“百度短劇”商標,涵蓋網站服務、科學儀器、教育娛樂等多個國際分類,目前這些商標均處于等待實質審查
    的頭像 發表于 12-17 14:19 ?192次閱讀

    ADC的數據表給出了±VREF的輸入范圍,是否意味著可以測量相對于接地的負電壓?

    我的 ADC 的數據表給出了 ±VREF 的輸入范圍。這是否意味著我可以測量相對于接地的負電壓?
    發表于 11-26 08:22

    百度世界2024大會發布創新產品:秒嗒與自由畫布

    大核心特點是:無代碼編程、多智能體協作以及多工具調用。這意味著,用戶無需編寫任何代碼,僅憑直觀的操作和配置,就能將任意想法轉化為現實應用,極大地降低了編程門檻,拓寬了技術創新的邊界。 此外,百度還攜手百度文庫與
    的頭像 發表于 11-14 11:31 ?1445次閱讀

    李彥宏宣布:百度文心大模型日調用量超15億

    百度世界2024大會上,百度公司創始人李彥宏宣布了一項令人矚目的數據百度文心大模型的日調用量已經超過15億次。這一數據不僅彰顯了
    的頭像 發表于 11-12 10:40 ?213次閱讀

    百度將發布AI智能眼鏡

    近日,有知情人士透露,百度旗下的人工智能品牌小計劃在即將舉行的百度世界大會上推出一款全新的AI智能眼鏡。這款眼鏡將內置先進的人工智能助手,并配備攝像頭,為用戶提供前所未有的智能體驗。
    的頭像 發表于 11-11 14:50 ?449次閱讀

    百度舸AI計算平臺4.0震撼發布

    在2024年百度云智大會的璀璨舞臺上,百度智能云重磅推出了舸AI異構計算平臺的全新力作——4.0版本。此次升級,標志百度在AI基礎設施領
    的頭像 發表于 09-26 14:46 ?485次閱讀

    百度健康推出五款大模型應用產品

    百度集團資深副總裁、百度大健康事業群組總裁何明科發表主題演講時表示,醫療行業中存在“看得上病”“看得病”“看得好病”難以同時實現的“不可能三角”,AI是平衡這個“不可能三角”的關鍵點。
    的頭像 發表于 07-23 09:36 ?502次閱讀

    百度申請文小言商標

    近日,百度在線網絡技術(北京)有限公司在知識產權領域有了新動作。據天眼查知識產權信息顯示,百度已申請多枚“文小言”商標,這些商標將涵蓋廣告銷售、網站服務、健身器材、機械設備等多個領域。
    的頭像 發表于 06-19 09:20 ?489次閱讀

    百度搜索AI生成內容占比達11%

    在2024年舉辦的百度移動生態萬象大會上,百度集團資深副總裁、百度移動生態事業群組總經理何俊杰分享了一系列令人矚目的數據。他透露,百度新搜索
    的頭像 發表于 05-31 09:24 ?751次閱讀

    2024百度移動生態萬象大會:百度新搜索11%內容已AI生成

    萬象大會上百度集團資深副總裁、百度移動生態事業群組(MEG)總經理何俊杰公布了一項統計數據百度新搜索已有11%的搜索內容是由AI生成的。同時,他透露,
    發表于 05-30 18:58 ?417次閱讀

    百度與特斯拉探討Robotaxi合作新機遇

    在特斯拉宣布計劃使用百度地圖提供的高精度地圖之后,百度與特斯拉之間的合作再度引起關注。百度自動駕駛技術部總經理徐寶強近日透露,百度正積極考慮與特斯拉在Robotaxi(共享出租車)項目
    的頭像 發表于 05-24 10:20 ?460次閱讀

    百度文心大模型擴展合作領域

    百度創始人兼CEO李彥宏在2024年第一季度財報電話會上宣布,文心大模型API在繼與中國三星、榮耀成功合作后,本季度再度實現重要突破。小米、OPPO、vivo等主流手機廠商已全面接入文心大模型API,此舉標志百度在智能設備領域
    的頭像 發表于 05-17 11:17 ?572次閱讀

    百度將為國行iPhone16提供AI功能

    百度將為國行iPhone16提供AI功能 蘋果iPhone 16預計將在2024年9月份發布,現在關于iPhone16的消息已經開始被陸續爆出,今日爆出百度公司將為蘋果國行iPhone
    的頭像 發表于 03-25 16:23 ?958次閱讀
    主站蜘蛛池模板: 99久酒店在线精品2019| 国产亚洲精品久久7777777| 久草在线草a免费线看| 一区不卡二区卡| 免费看毛片的网址| 成人免费在线| 亚洲精品视频久久| 魅男mangay| 国产97视频在线观看| 夜夜躁婷婷AV蜜桃视频| 男人就爱吃这套下载| 国产AV精品无码免费看| 亚洲视频国产在线精品| 内射气质御姐视频在线播放| 第一次破女初国产美女| 亚洲欧美国产旡码专区| 欧美精品色视频| 好男人午夜www视频在线观看| 91视频3p| 亚洲国产精品VA在线看黑人 | ava云直播| 亚洲国产免费观看视频| 欧美gv明星| 精品福利一区| 国产CHINESE HD精品| 2019午夜福合集不打码| 小护士大pp| 琪琪午夜福利免费院| 久久99精品视频| 国产成人综合在线| 999av视频| 亚洲欧美日韩国产精品26u| 日韩欧美一级| 蜜柚在线观看免费高清官网视频| 国产真实女人一级毛片| 成人在线视频网站| 4虎最新网址| 亚洲野狼综合网站| 无人在线观看免费高清视频播放| 欧美日韩1区| 榴莲推广APP网站入口官网|