構(gòu)建一個(gè)能在復(fù)雜物理世界中導(dǎo)航的自動(dòng)駕駛系統(tǒng)極具挑戰(zhàn)性。系統(tǒng)必須感知周圍環(huán)境并做出快速且明智的決策。乘客體驗(yàn)也很重要，需要考慮加速、曲率、平滑度、路面附著力、碰撞時(shí)間等因素。

本文將介紹 Hydra-MDP，這個(gè)創(chuàng)新的框架將推動(dòng)端到端自動(dòng)駕駛領(lǐng)域的發(fā)展。Hydra-MDP 采用新穎的多教師、學(xué)生-教師知識(shí)提煉架構(gòu)，整合了來(lái)自人類和基于規(guī)則的規(guī)劃器的知識(shí)。這使模型能夠?qū)W習(xí)不同的軌跡，從而提高在不同駕駛環(huán)境和條件下的通用性。

圖 1 端到端規(guī)劃范式比較

Hydra-MDP 所提供的通用框架展示了如何通過(guò)基于規(guī)則的規(guī)劃器來(lái)增強(qiáng)基于機(jī)器學(xué)習(xí)的規(guī)劃。這一整合確保模型不僅能模仿人類駕駛行為，還能遵守交通規(guī)則和安全標(biāo)準(zhǔn)，打破了傳統(tǒng)模仿學(xué)習(xí)的局限性。

Hydra-MDP 以數(shù)據(jù)驅(qū)動(dòng)的擴(kuò)展法則展現(xiàn)了其魯棒性和適應(yīng)性。通過(guò)使用具有大量數(shù)據(jù)和 GPU 小時(shí)數(shù)的預(yù)訓(xùn)練基礎(chǔ)模型，Hydra-MDP 展示了其可擴(kuò)展性以及持續(xù)改進(jìn)的潛力。

NVIDIA 的 Hydra-MDP 模型在 CVPR 2024 大規(guī)模端到端駕駛挑戰(zhàn)賽中獲得了第一名和創(chuàng)新獎(jiǎng)，并且在 nuPlan 基準(zhǔn)測(cè)試中的表現(xiàn)優(yōu)于當(dāng)前最先進(jìn)的規(guī)劃器。它為基于 ML 的規(guī)劃系統(tǒng)在自動(dòng)駕駛中的應(yīng)用開辟了一條前景廣闊的道路。

端到端自動(dòng)駕駛是一套系統(tǒng)接收來(lái)自攝像頭、雷達(dá)和激光雷達(dá)的原始傳感器數(shù)據(jù)并直接輸出車輛控制的完整方法。

相關(guān)論文

Hydra-MDP：多目標(biāo) Hydra-Distillation 端到端多模式規(guī)劃

Hydra-MDP 采用新穎的多教師、學(xué)生-教師知識(shí)提煉架構(gòu)，整合了來(lái)自人類和基于規(guī)則的規(guī)劃器的知識(shí)。

借助基于規(guī)則的教師知識(shí)，Hydra-MDP 可以學(xué)習(xí)環(huán)境如何以端到端的方式影響規(guī)劃，而不是求助于無(wú)差別的后處理，使其在不同駕駛環(huán)境和條件下的通用性有了顯著提高。

通過(guò)多目標(biāo) Hydra-Distillation

加強(qiáng)多模態(tài)規(guī)劃

在開發(fā) Hydra-MDP 的過(guò)程中，NVIDIA 學(xué)到了一些關(guān)鍵的經(jīng)驗(yàn)，這些經(jīng)驗(yàn)決定了 Hydra-MDP 的架構(gòu)及其成功。Hydra-MDP 將人類和基于規(guī)則的知識(shí)提煉相結(jié)合，創(chuàng)建出一個(gè)強(qiáng)大的多功能自動(dòng)駕駛模型。

以下是 NVIDIA 學(xué)習(xí)到的關(guān)鍵經(jīng)驗(yàn)：

認(rèn)識(shí)到多模態(tài)和多目標(biāo)規(guī)劃的復(fù)雜性

利用多目標(biāo) Hydra-Distillation 的強(qiáng)大功能

克服后處理的局限性

了解環(huán)境背景的重要性

通過(guò)模擬反復(fù)完善

使用有效的模型組合

認(rèn)識(shí)到多模態(tài)和多目標(biāo)規(guī)劃的復(fù)雜性

認(rèn)識(shí)到多模態(tài)和多目標(biāo)規(guī)劃的必要性是一門“基礎(chǔ)課”。

傳統(tǒng)的端到端自動(dòng)駕駛系統(tǒng)通常只側(cè)重于單個(gè)模態(tài)和目標(biāo)，這限制了其在現(xiàn)實(shí)世界中的有效性。Hydra-MDP 整合了根據(jù)安全、效率、舒適度等多個(gè)指標(biāo)定制的不同軌跡，確保模型不只是模仿人類駕駛員，而是能夠適應(yīng)復(fù)雜的駕駛環(huán)境。

圖 2 Hydra-MDP 架構(gòu)

利用多目標(biāo) Hydra-Distillation 的強(qiáng)大功能

多目標(biāo) Hydra-Distillation 是一個(gè)教師-學(xué)生多模態(tài)框架，它是 NVIDIA 方法中的關(guān)鍵策略。通過(guò)采用多個(gè)專業(yè)教師（既有人類教師，也有基于規(guī)則的教師），模型能夠?qū)W會(huì)預(yù)測(cè)與各種模擬指標(biāo)相一致的軌跡。該技術(shù)提高了模型在不同駕駛條件下的通用性。

NVIDIA 了解到加入基于規(guī)則的規(guī)劃器提供了一個(gè)結(jié)構(gòu)化框架，而加入人類教師則帶來(lái)了適應(yīng)性和細(xì)致的決策能力，這對(duì)于適應(yīng)不可預(yù)測(cè)的場(chǎng)景至關(guān)重要。

克服后處理的局限性

另一個(gè)洞察是依賴后處理進(jìn)行軌跡選擇存在固有的局限性。

傳統(tǒng)方法通常會(huì)將感知和規(guī)劃分離成不同且不可微分的步驟，從而丟失有價(jià)值的信息。Hydra-MDP 的端到端架構(gòu)將感知和規(guī)劃整合成一個(gè)無(wú)縫銜接的工作流，并在整個(gè)決策過(guò)程中保持了環(huán)境數(shù)據(jù)的豐富性。通過(guò)這種整合，使預(yù)測(cè)變得更加明智且準(zhǔn)確。

了解環(huán)境背景的重要性

加入詳細(xì)的環(huán)境背景對(duì)于規(guī)劃的準(zhǔn)確性來(lái)說(shuō)至關(guān)重要。

Hydra-MDP 的感知網(wǎng)絡(luò)以 Transfuser 基線為基礎(chǔ)構(gòu)建而成，它將激光雷達(dá)和攝像機(jī)輸入所具有的特征加以組合。這種多模態(tài)融合有助于模型更好地理解和應(yīng)對(duì)復(fù)雜的駕駛環(huán)境。

Transformer 層將這些模態(tài)連接起來(lái)，保證了對(duì)環(huán)境背景的全面編碼，并提供豐富、可操作的洞察。

通過(guò)模擬反復(fù)完善

事實(shí)證明，離線模擬促進(jìn)的反復(fù)完善過(guò)程非常有價(jià)值。

在整個(gè)訓(xùn)練數(shù)據(jù)集上運(yùn)行模擬生成了各項(xiàng)指標(biāo)的基準(zhǔn)真實(shí)模擬分?jǐn)?shù)。這些數(shù)據(jù)隨后被用于監(jiān)督訓(xùn)練過(guò)程，使模型能夠從各種模擬駕駛場(chǎng)景中學(xué)習(xí)。

該步驟凸顯了大量模擬在填補(bǔ)理論性能與實(shí)際應(yīng)用之間差距的重要性。

表 1 Hydra-MDP 的準(zhǔn)確性與輸入圖像分辨率、預(yù)訓(xùn)練和骨干架構(gòu)的函數(shù)關(guān)系。獲勝方案 Hydra-MDP-C 通過(guò)將這些因素結(jié)合在一起提高了性能。

使用有效的模型集合

有效的模型集合是取得成功的關(guān)鍵。

NVIDIA 使用了混合編碼器和子分?jǐn)?shù)集合等技術(shù)來(lái)結(jié)合模型的優(yōu)勢(shì)。這提高了 Hydra-MDP 的魯棒性，保證了最終模型能夠以高精度處理各種駕駛場(chǎng)景。

集合技術(shù)兼顧了計(jì)算效率和性能，對(duì)于實(shí)時(shí)應(yīng)用至關(guān)重要。

結(jié)論

Hydra-MDP 的開發(fā)是一個(gè)創(chuàng)新、實(shí)驗(yàn)和不斷學(xué)習(xí)的過(guò)程。通過(guò)采用多模態(tài)和多目標(biāo)規(guī)劃、利用多目標(biāo) Hydra-Distillation，以及通過(guò)大量模擬加以完善， NVIDIA 創(chuàng)建了一個(gè)明顯優(yōu)于當(dāng)前最先進(jìn)方法的模型。這些經(jīng)驗(yàn)造就了 Hydra-MDP 的成功，并為未來(lái)自動(dòng)駕駛技術(shù)的進(jìn)步提供了寶貴的啟發(fā)。

更多信息，參見 Hydra-MDP：借助多目標(biāo) Hydra-Distillation 實(shí)現(xiàn)端到端多模態(tài)規(guī)劃。相關(guān)工作參見自動(dòng)駕駛汽車應(yīng)用研究。