在近日舉行的 GTC 大會上,蔚來 AI 平臺負(fù)責(zé)人白宇利帶來非常有價值的分享,他首次對外透露了蔚來自研的全棧式自動駕駛系統(tǒng)(NAD)的部署和開發(fā)情況,同時也將蔚來自動駕駛研發(fā)平臺(NADP)這個神秘的“Peta Factory”帶到了公眾視野中。
據(jù)了解,NADP是服務(wù)于蔚來自動駕駛核心業(yè)務(wù)方向的研發(fā)平臺,用于開發(fā) NAD 功能。以“Peta”為名是因為每輛車每天能生成 55 petabit數(shù)據(jù)(1 petabit = 10^6 gigabit = 10^9 megabit = 10^15 bits),而 NADP 是所有流程、工作流、數(shù)據(jù)以及底層軟硬件的組合。NADP 能夠以一站式平臺管理大量復(fù)雜的 AI 應(yīng)用,并將模型開發(fā)效率提高 20 倍,從而縮短自動駕駛汽車的上市周期,開發(fā)出更新、更快的架構(gòu)。
在模型訓(xùn)練、測試和部署的過程中,為了確保新改進(jìn)能夠切實地解決相應(yīng)問題,且不會引發(fā)任何新問題, NADP 需要執(zhí)行 10 萬項推理任務(wù),包括數(shù)據(jù)挖掘、仿真和回歸測試。經(jīng)過眾多方案的對比和篩選,蔚來選用了NVIDIA Triton 推理服務(wù)器作為核心組件,構(gòu)建了 NADP 的高性能推理服務(wù)。
正如白宇利在分享中提到:“我們基于 NVIDIA Triton 推理服務(wù)器構(gòu)建了高性能推理服務(wù)。此服務(wù)非常適用于 NADP,并可輕松集成模型倉庫、工作流、Jupyter、Prometheus 和許多其他組件,從而簡化 AI 推理。Triton 讓編排和擴(kuò)展變得更輕松,還能將推理速度提高至 6 倍,并可節(jié)省 24% 的資源。”
蔚來基于 NVIDIA Triton 搭建的推理服務(wù)平臺,在數(shù)據(jù)挖掘業(yè)務(wù)場景下,通過服務(wù)器端模型前處理和多模型 DAG 式編排,GPU 資源平均節(jié)省 24%;在部分核心 pipeline 上,吞吐能力提升為原來的 5 倍,整體時延降低為原來的 1/ 6。
Triton 在設(shè)計之初,就融入了云原生的設(shè)計思路,為后面逐步圍繞 Triton 搭建完整的云原生平臺性推理解決方案提供了相當(dāng)大的便利。
作為 NADP 推理平臺的核心組件,Triton 與 NADP 的各個組件形成了一套完整的推理一站式解決方案。從集成效率、高性能、易用性、高可用四方面,在 NADP 推理平臺中提供助力。
目前,NADP 數(shù)據(jù)挖掘業(yè)務(wù)下的相關(guān)模型預(yù)測服務(wù)已經(jīng)全部遷移至 Triton 推理服務(wù)器,為上百個模型提供了高吞吐預(yù)測能力。同時在某些任務(wù)基礎(chǔ)上,通過自實現(xiàn)前處理算子、前后處理服務(wù)化、BLS 串聯(lián)模型等手段,將一些模型任務(wù)合并起來,極大的提升了處理效率。
審核編輯:湯梓紅
-
NVIDIA
+關(guān)注
關(guān)注
14文章
4981瀏覽量
102996 -
自動駕駛
+關(guān)注
關(guān)注
784文章
13786瀏覽量
166403 -
蔚來
+關(guān)注
關(guān)注
1文章
471瀏覽量
14549
原文標(biāo)題:成功案例:蔚來 NADP + NVIDIA Triton,搭建穩(wěn)定高效的推理平臺
文章出處:【微信號:NVIDIA_China,微信公眾號:NVIDIA英偉達(dá)】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
評論