NVIDIA 在國際計(jì)算機(jī)視覺與模式識(shí)別會(huì)議（CVPR）上展示了用于自動(dòng)駕駛汽車開發(fā)的加速計(jì)算和生成式 AI 的突破技術(shù)。

NVIDIA 采取行動(dòng)加速自動(dòng)駕駛汽車的開發(fā)，成為本周于美國西雅圖舉辦的國際計(jì)算機(jī)視覺與模式識(shí)別會(huì)議（CVPR）的自動(dòng)駕駛國際挑戰(zhàn)賽的獲勝者。

NVIDIA Research 繼去年獲得 3D Occupancy 預(yù)測冠軍后，今年又憑借 Hydra-MDP 模型在大規(guī)模端到端駕駛類別中擊敗了全球 400 多個(gè)參賽者，榮登榜首。

這一里程碑顯示了生成式 AI 在自動(dòng)駕駛汽車（AV）開發(fā)過程中構(gòu)建物理 AI 部署的重要性。該技術(shù)還可應(yīng)用于工業(yè)環(huán)境、醫(yī)療、機(jī)器人等其他領(lǐng)域。

NVIDIA 的獲獎(jiǎng)作品還榮獲 CVPR 創(chuàng)新獎(jiǎng)，該獎(jiǎng)項(xiàng)是對(duì) NVIDIA 改進(jìn)“任意端到端駕駛模型使用所學(xué)習(xí)到的開環(huán)代理指標(biāo)”這一方法的認(rèn)可。

此外，NVIDIA 還發(fā)布了 NVIDIA Omniverse Cloud Sensor RTX，這是一套可實(shí)現(xiàn)物理精確傳感器仿真的微服務(wù)，可加速各類完全自主機(jī)器的開發(fā)。

端到端駕駛?cè)绾芜\(yùn)作

比起短跑，自動(dòng)駕駛汽車開發(fā)競賽更像是一場永無止境的鐵人三項(xiàng)賽，涉及到三個(gè)截然不同但又至關(guān)重要的部分：AI 訓(xùn)練、仿真和自動(dòng)駕駛。每個(gè)部分都需要有各自的加速計(jì)算平臺(tái)，并且專為這三個(gè)步驟打造的全棧系統(tǒng)，需要組合成一個(gè)能夠保證開發(fā)周期不間斷并且性能與安全性也不斷提高的強(qiáng)大“鐵三角”。

為了實(shí)現(xiàn)這一目標(biāo)，首先要在NVIDIA DGX等 AI 超級(jí)計(jì)算機(jī)上對(duì)模型進(jìn)行訓(xùn)練。然后，通過使用NVIDIA Omniverse平臺(tái)并在NVIDIA OVX系統(tǒng)上對(duì)模型進(jìn)行測試和驗(yàn)證。最后在NVIDIA DRIVE AGX平臺(tái)上通過該模型實(shí)時(shí)處理傳感器數(shù)據(jù)。

建立一個(gè)能夠在復(fù)雜物理世界中安全導(dǎo)航的自動(dòng)駕駛系統(tǒng)極具挑戰(zhàn)性。該系統(tǒng)需要全面感知和了解周圍環(huán)境，然后在幾分之一秒內(nèi)做出正確且安全的決策。因此，系統(tǒng)必須具備類似人類的態(tài)勢感知能力，才能處理潛在的危險(xiǎn)或罕見情況。

傳統(tǒng)的 AV 軟件開發(fā)一直基于模塊化方法，包括用于物體檢測和追蹤、軌跡預(yù)測以及路徑規(guī)劃和控制的獨(dú)立組件。

端到端自動(dòng)駕駛系統(tǒng)采用一個(gè)統(tǒng)一模型接收傳感器輸入并生成車輛軌跡，從而簡化了這一過程，有助于避免工作流變得過于復(fù)雜并提供了一種更加全面、以數(shù)據(jù)為依據(jù)的方法來處理現(xiàn)實(shí)世界中的各種情況。

引領(lǐng)國際挑戰(zhàn)賽

今年的 CVPR 挑戰(zhàn)賽要求參賽者利用 nuPlan 數(shù)據(jù)集開發(fā)出能夠根據(jù)傳感器數(shù)據(jù)生成駕駛軌跡的端到端自動(dòng)駕駛模型。

所提交的模型將在開源的 NAVSIM 模擬器中進(jìn)行測試，它的任務(wù)是在數(shù)千種從未體驗(yàn)過的場景中進(jìn)行導(dǎo)航。比賽根據(jù)安全性、乘客舒適度以及與原始記錄軌跡的偏差等指標(biāo)對(duì)模型性能進(jìn)行評(píng)分。

勝出的 NVIDIA Research 端到端模型能夠獲取攝像頭和激光雷達(dá)數(shù)據(jù)以及車輛的軌跡歷史記錄，在傳感器輸入后的五秒鐘內(nèi)就能生成安全的最佳車輛路徑。

NVIDIA 研究人員贏得此次比賽所使用的工作流可以通過 NVIDIA Omniverse 在高保真仿真環(huán)境中進(jìn)行復(fù)制，這意味著自動(dòng)駕駛仿真開發(fā)人員能夠在現(xiàn)實(shí)世界測試自動(dòng)駕駛汽車之前，先在物理精確的環(huán)境中創(chuàng)建工作流。NVIDIA Omniverse Cloud Sensor RTX微服務(wù)將于今年晚些時(shí)候推出。請注冊以獲得搶先體驗(yàn)https://developer.nvidia.com/login。

此外，NVIDIA 提交的作品在 CVPR 自動(dòng)駕駛大型挑戰(zhàn)賽語言駕駛類別中排名第二。NVIDIA 的模型打通了視覺語言模型和自動(dòng)駕駛系統(tǒng)，通過整合大語言模型的強(qiáng)大功能幫助做出決策并實(shí)現(xiàn)可通用、可解釋的駕駛行為。