色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

NVIDIA Triton助力騰訊構(gòu)建高性能推理服務(wù)

科技綠洲 ? 來源:NVIDIA英偉達(dá)企業(yè)解決方案 ? 作者:NVIDIA英偉達(dá)企業(yè)解 ? 2022-04-10 10:08 ? 次閱讀

藉由 NVIDIAT4 GPU,通過 Ronda 平臺(tái)調(diào)用 NVIDIA Triton 以及 TensorRT ,整體提升開發(fā)和推理效能,幫助騰訊 PCG 的多個(gè)服務(wù)整體效能提升 2 倍,吞吐量最大提升 6 倍,同時(shí)降低了 40% 的延時(shí)。

騰訊平臺(tái)與內(nèi)容事業(yè)群(簡(jiǎn)稱 騰訊 PCG)負(fù)責(zé)公司互聯(lián)網(wǎng)平臺(tái)和內(nèi)容文化生態(tài)融合發(fā)展,整合 QQ、QQ 空間等社交平臺(tái),和應(yīng)用寶、瀏覽器等流量平臺(tái),以及新聞資訊、視頻、體育、直播、動(dòng)漫、影業(yè)等內(nèi)容業(yè)務(wù),推動(dòng) IP 跨平臺(tái)、多形態(tài)發(fā)展,為更多用戶創(chuàng)造海量的優(yōu)質(zhì)數(shù)字內(nèi)容體驗(yàn)。

騰訊 PCG 機(jī)器學(xué)習(xí)平臺(tái)部旨在構(gòu)建和持續(xù)優(yōu)化符合 PCG 技術(shù)中臺(tái)戰(zhàn)略的機(jī)器學(xué)習(xí)平臺(tái)和系統(tǒng),提升 PCG 機(jī)器學(xué)習(xí)技術(shù)應(yīng)用效率和價(jià)值。建設(shè)業(yè)務(wù)領(lǐng)先的模型訓(xùn)練系統(tǒng)和算法框架;提供涵蓋數(shù)據(jù)標(biāo)注、模型訓(xùn)練、評(píng)測(cè)、上線的全流程平臺(tái)服務(wù),實(shí)現(xiàn)高效率迭代;在內(nèi)容理解和處理領(lǐng)域,輸出業(yè)界領(lǐng)先的元能力和智能策略庫。機(jī)器學(xué)習(xí)平臺(tái)部正服務(wù)于 PCG 所有業(yè)務(wù)產(chǎn)品

而過往在項(xiàng)目執(zhí)行時(shí),團(tuán)隊(duì)所面挑戰(zhàn)包含:

1. 業(yè)務(wù)繁多,場(chǎng)景復(fù)雜

業(yè)務(wù)開發(fā)語言包括C++/Python

模型格式繁多,包括ONNX、Pytorch、TensorFlow、TensorRT等

模型預(yù)處理涉及圖片下載網(wǎng)絡(luò)IO

多模型融合流程比教復(fù)雜,涉及循環(huán)調(diào)用

支持異構(gòu)推理

2. 模型推理結(jié)果異常時(shí),難以方便地調(diào)試定位問題

3. 需要與公司內(nèi)現(xiàn)有協(xié)議/框架/平臺(tái)進(jìn)行融合

基于以上挑戰(zhàn),騰訊 PCG 選擇了采用 NVIDIA Triton 推理服務(wù)器,以解決新場(chǎng)景下模型推理引擎面臨的挑戰(zhàn),在提升用戶研效的同時(shí),大幅降低了服務(wù)成本。

NVIDIA Triton 是一款開源軟件,對(duì)于所有推理模式都可以簡(jiǎn)化模型在任一框架中以及任何 GPU 或 CPU 上的運(yùn)行方式,從而在生產(chǎn)環(huán)境中使用 AI。Triton 支持多模型 ensemble,以及 TensorFlow、PyTorch、ONNX 等多種深度學(xué)習(xí)模型框架,可以很好的支持多模型聯(lián)合推理的場(chǎng)景,構(gòu)建起視頻、圖片、語音、文本整個(gè)推理服務(wù)過程,大大降低多個(gè)模型服務(wù)的開發(fā)和維護(hù)成本。

基于 C++ 的基礎(chǔ)架構(gòu)、Dynamic-batch、以及對(duì) TensorRT 的支持,同時(shí)配合 T4 的 GPU,將整體推理服務(wù)的吞吐能力最大提升 6 倍,延遲最大降低 40%,既滿足了業(yè)務(wù)的低延時(shí)需求,成本也降低了 20%-66%。

通過將 Triton 編譯為動(dòng)態(tài)鏈接庫,可以方便地鏈入公司內(nèi)部框架,對(duì)接公司的平臺(tái)治理體系。符合 C 語言規(guī)范的 API 也極大降低了用戶的接入成本。

借助 Python Backend 和 Custom Backend,用戶可以自由選擇使用 C++/Python 語言進(jìn)行二次開發(fā)。

Triton 的 Tracing 能力可以方便地捕捉執(zhí)行過程中的數(shù)據(jù)流狀態(tài)。結(jié)合 Metrics 和 Perf Analysis 等組件,可以快速定位開發(fā)調(diào)試,甚至是線上問題,對(duì)于開發(fā)和定位問題的效率有很大提升。

NVIDIA DALI 是 GPU 加速的數(shù)據(jù)增強(qiáng)和圖像加載庫。DALI Backend 可以用于替換掉原來的圖片解碼、resize 等操作。FIL Backend 也可以替代 Python XGBoost 模型推理,進(jìn)一步提升服務(wù)端推理性能。

借助 NVIDIA Triton 推理框架,配合 DALI/FIL/Python 等 Backend,以及 TensorRT,整體推理服務(wù)的吞吐能力最大提升 6 倍,延遲最大降低 40%。幫助騰訊 PCG 各業(yè)務(wù)場(chǎng)景中,以更低的成本構(gòu)建了高性能的推理服務(wù),同時(shí)更低的延遲降低了整條系統(tǒng)鏈路的響應(yīng)時(shí)間,優(yōu)化了用戶體驗(yàn)。

審核編輯:彭菁
聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 數(shù)據(jù)
    +關(guān)注

    關(guān)注

    8

    文章

    7006

    瀏覽量

    88955
  • NVIDIA
    +關(guān)注

    關(guān)注

    14

    文章

    4981

    瀏覽量

    102999
  • 騰訊
    +關(guān)注

    關(guān)注

    7

    文章

    1652

    瀏覽量

    49426
收藏 人收藏

    評(píng)論

    相關(guān)推薦

    Amazon Bedrock推出多個(gè)新模型和全新強(qiáng)大的推理和數(shù)據(jù)處理功能

    :Invent全球大會(huì)上,宣布推出Amazon Bedrock的多項(xiàng)創(chuàng)新功能。Amazon Bedrock是亞馬遜云科技一項(xiàng)完全托管的服務(wù),旨在利用高性能基礎(chǔ)模型構(gòu)建和擴(kuò)展生成式人工智能(AI)應(yīng)用程序。此次發(fā)布進(jìn)一步彰顯了亞馬
    的頭像 發(fā)表于 12-07 19:31 ?584次閱讀
    Amazon Bedrock推出多個(gè)新模型和全新強(qiáng)大的<b class='flag-5'>推理</b>和數(shù)據(jù)處理功能

    NVIDIA助力Amdocs打造生成式AI智能體

    正在使用NVIDIA DGX Cloud 與 NVIDIA AI Enterprise軟件開發(fā)和交付基于商用大語言模型(LLM)和領(lǐng)域適配模型的解決方案。該公司還在使用NVIDIA NIM,這是一套易于使用的
    的頭像 發(fā)表于 11-19 14:48 ?329次閱讀

    NVIDIA助力麗蟾科技打造AI訓(xùn)練與推理加速解決方案

    麗蟾科技通過 Leaper 資源管理平臺(tái)集成 NVIDIA AI Enterprise,為企業(yè)和科研機(jī)構(gòu)提供了一套高效、靈活的 AI 訓(xùn)練與推理加速解決方案。無論是在復(fù)雜的 AI 開發(fā)任務(wù)中,還是在高并發(fā)推理場(chǎng)景下,都能夠確保項(xiàng)
    的頭像 發(fā)表于 10-27 10:03 ?211次閱讀
    <b class='flag-5'>NVIDIA</b><b class='flag-5'>助力</b>麗蟾科技打造AI訓(xùn)練與<b class='flag-5'>推理</b>加速解決方案

    Wolfspeed碳化硅助力實(shí)現(xiàn)高性能功率系統(tǒng)

    Wolfspeed碳化硅助力實(shí)現(xiàn)高性能功率系統(tǒng)
    發(fā)表于 10-24 10:51 ?0次下載

    澎峰科技高性能大模型推理引擎PerfXLM解析

    自ChatGPT問世以來,大模型遍地開花,承載大模型應(yīng)用的高性能推理框架也不斷推出,大有百家爭(zhēng)鳴之勢(shì)。在這種情況下,澎峰科技作為全球領(lǐng)先的智能計(jì)算服務(wù)提供商,在2023年11月25日發(fā)布了針對(duì)大語言
    的頭像 發(fā)表于 09-29 10:14 ?463次閱讀
    澎峰科技<b class='flag-5'>高性能</b>大模型<b class='flag-5'>推理</b>引擎PerfXLM解析

    NVIDIA助力提供多樣、靈活的模型選擇

    在本案例中,Dify 以模型中立以及開源生態(tài)的優(yōu)勢(shì),為廣大 AI 創(chuàng)新者提供豐富的模型選擇。其集成的 NVIDIAAPI Catalog、NVIDIA NIM和Triton 推理服務(wù)
    的頭像 發(fā)表于 09-09 09:19 ?461次閱讀

    使用NVIDIA Edify助力服務(wù)創(chuàng)建3D資產(chǎn)和虛擬環(huán)境照明

    使用 NVIDIA Edify 助力服務(wù)創(chuàng)建 3D 資產(chǎn)和虛擬環(huán)境照明,或是減半生成圖像時(shí)間。
    的頭像 發(fā)表于 08-02 15:22 ?503次閱讀

    NVIDIA攜手Meta推出AI服務(wù),為企業(yè)提供生成式AI服務(wù)

    NVIDIA近日宣布了一項(xiàng)重大舉措,正式推出NVIDIA AI Foundry服務(wù)NVIDIA NIM(NVIDIA Inference
    的頭像 發(fā)表于 07-25 16:57 ?534次閱讀

    英偉達(dá)推出全新NVIDIA AI Foundry服務(wù)NVIDIA NIM推理服務(wù)

    NVIDIA 宣布推出全新 NVIDIA AI Foundry 服務(wù)NVIDIA NIM 推理服務(wù)
    的頭像 發(fā)表于 07-25 09:48 ?701次閱讀

    英偉達(dá)推出AI模型推理服務(wù)NVIDIA NIM

    英偉達(dá)近日宣布推出一項(xiàng)革命性的AI模型推理服務(wù)——NVIDIA NIM。這項(xiàng)服務(wù)將極大地簡(jiǎn)化AI模型部署過程,為全球的2800萬英偉達(dá)開發(fā)者提供前所未有的便利。
    的頭像 發(fā)表于 06-04 09:15 ?674次閱讀

    英特爾助力京東云用CPU加速AI推理,以大模型構(gòu)建數(shù)智化供應(yīng)鏈

    英特爾助力京東云用CPU加速AI推理,以大模型構(gòu)建數(shù)智化供應(yīng)鏈
    的頭像 發(fā)表于 05-27 11:50 ?531次閱讀
    英特爾<b class='flag-5'>助力</b>京東云用CPU加速AI<b class='flag-5'>推理</b>,以大模型<b class='flag-5'>構(gòu)建</b>數(shù)智化供應(yīng)鏈

    利用NVIDIA組件提升GPU推理的吞吐

    本實(shí)踐中,唯品會(huì) AI 平臺(tái)與 NVIDIA 團(tuán)隊(duì)合作,結(jié)合 NVIDIA TensorRT 和 NVIDIA Merlin HierarchicalKV(HKV)將推理的稠密網(wǎng)絡(luò)和熱
    的頭像 發(fā)表于 04-20 09:39 ?718次閱讀

    使用NVIDIA Triton推理服務(wù)器來加速AI預(yù)測(cè)

    這家云計(jì)算巨頭的計(jì)算機(jī)視覺和數(shù)據(jù)科學(xué)服務(wù)使用 NVIDIA Triton 推理服務(wù)器來加速 AI 預(yù)測(cè)。
    的頭像 發(fā)表于 02-29 14:04 ?576次閱讀

    基于NVIDIA DOCA 2.6實(shí)現(xiàn)高性能和安全的AI云設(shè)計(jì)

    網(wǎng)絡(luò)平臺(tái)上快速創(chuàng)建應(yīng)用程序和服務(wù),并啟用 NVIDIA BlueField DPU 和 NVIDIA BlueField SuperNIC 的強(qiáng)大功能,提供突破性的網(wǎng)絡(luò)、安全和存儲(chǔ)性能
    的頭像 發(fā)表于 02-23 10:02 ?471次閱讀

    利用NVIDIA產(chǎn)品技術(shù)組合提升用戶體驗(yàn)

    本案例通過利用NVIDIA TensorRT-LLM加速指令識(shí)別深度學(xué)習(xí)模型,并借助NVIDIA Triton推理服務(wù)器在
    的頭像 發(fā)表于 01-17 09:30 ?687次閱讀
    主站蜘蛛池模板: 亚洲综合小说久久另类区| 最近在线视频观看2018免费| 医生含着我的奶边摸边做| 99国产亚洲精品无码成人| 高清国语自产拍在线| 好看的电影网站亚洲一区| 男人j进女人j一进一出| 帅哥操帅哥| 真实农村女人野外自拍照片| 超碰人热人人热人人看| 江苏电台在线收听| 欧美性爱 先锋影音| 性夜夜春夜夜爽AA片A| 67194免费入口| 国产精品美女WWW爽爽爽视频| 久久精品国产免费| 日韩AV片无码一区二区三区不卡 | 午夜想想爱午夜剧场| 曰韩一本道高清无码av| 不良网站进入窗口软件下载免费| 国产野外无码理论片在线观看| 男人就爱吃这套下载| 亚洲 欧美 中文字幕 在线| 97综合久久| 国精产品999一区二区三区有限| 女的把腿张开男的往里面插| 亚洲精品久久久久AV无码| GOGOGO高清免费播放| 精品国产中文字幕在线视频| 日韩亚洲国产中文字幕欧美| 中文字幕爆乳JULIA女教师| 国产精品久久久久久人妻精品流 | 国产亚洲精品久久久999无毒| 男人把女人桶到爽免费看视频| 亚洲免费国产| 动漫女生的逼| 免费观看美女的网站| 亚洲欧美日韩人成 | 黄色xxxxxx| 少妇高潮惨叫久久久久久欧美| 玉林天天论坛|