色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
电子发烧友
开通电子发烧友VIP会员 尊享10大特权
海量资料免费下载
精品直播免费看
优质内容免费畅学
课程9折专享价
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

DiffusionDrive首次在端到端自動駕駛中引入擴散模型

地平線HorizonRobotics ? 來源:地平線HorizonRobotics ? 2025-03-08 13:59 ? 次閱讀

近年來,端到端自動駕駛成為研究熱點,其核心在于從傳感器數據直接學習駕駛決策。然而,駕駛行為本質上是多模態的——同一場景下可能存在多種合理軌跡,例如在復雜路口,車輛可選擇左轉、右轉或直行。這種多樣性是提升自動駕駛魯棒性和安全性的關鍵,但現有方法往往受限于單一軌跡回歸或固定錨點采樣,難以全面建模駕駛決策空間。

擴散模型 (Diffusion Model) 憑借強大的多模態建模能力,已在機器人決策學習中得到驗證。其逐步去噪機制能從復雜數據分布中生成多樣性強、符合物理約束的軌跡,使其成為自動駕駛多模態規劃的理想選擇。然而,擴散模型直接應用于端到端自動駕駛仍面臨計算開銷高和模式崩潰 (Mode Collapse) 的問題——傳統擴散模型需多輪迭代去噪,導致推理速度難以滿足實時需求,同時在高度動態的交通場景下,生成軌跡往往趨于重疊,無法充分展現駕駛決策的多樣性。

為此,我們提出截斷擴散策略 (Truncated Diffusion Policy) ,結合多模態錨點先驗 (Multi-mode Anchors Prior) ,通過截斷擴散過程,使模型從錨定的高斯分布 (Anchored Gaussian Distribution) 直接去噪至多模態駕駛軌跡分布。該方法避免了從純隨機噪聲開始的冗長迭代,僅需2步即可完成高質量軌跡推理,相比傳統擴散策略加速10倍。此外,我們設計了級聯擴散解碼器 (Cascade Diffusion Decoder) ,增強模型對場景信息的交互能力,提升軌跡預測精度。

我們提出的DiffusionDrive首次在端到端自動駕駛中引入擴散模型,并通過截斷擴散策略與級聯擴散解碼器,有效解決計算開銷與模式崩潰問題,為構建高效、魯棒的多模態自動駕駛規劃提供了新思路。

范式對比

6eb03982-fb3d-11ef-9310-92fbcf53809c.png

對比不同的端到端自動駕駛范式:

(a) 單模態回歸方法,通過Ego Query機制直接預測單一軌跡,但忽略了駕駛行為的多模態特性,難以適應復雜交通場景。

(b) 預定義錨定軌跡采樣方法,通過固定的錨定軌跡集來離散化軌跡空間,并基于評分機制進行選擇,雖然能夠一定程度上捕捉多模態行為,但受限于錨定軌跡數量和分布,難以泛化到未見場景。

(c) 傳統擴散策略通過在高斯分布上迭代去噪來生成軌跡,能夠捕捉多模態駕駛行為,但由于去噪步驟多,計算成本高,并且在復雜交通環境中容易出現模式崩潰,導致軌跡多樣性不足。

(d) 我們提出的截斷擴散策略,通過引入錨定高斯分布,利用多模態錨點作為初始分布,使模型從更合理的軌跡分布開始去噪,從而顯著減少計算開銷,僅需少量去噪步驟即可生成高質量的多模態軌跡,在保證多樣性的同時大幅提升推理效率,使其更適用于實時自動駕駛。

截斷擴散策略

6ed017a2-fb3d-11ef-9310-92fbcf53809c.png

傳統擴散策略在端到端自動駕駛任務中的應用面臨兩大核心挑戰:高計算成本和模式崩潰。擴散模型的去噪過程通常需要多輪迭代,例如20輪,以逐步將純高斯噪聲轉化為可行的駕駛軌跡。然而,這種逐步推理方式導致計算開銷極高,難以滿足實時自動駕駛的要求。此外,由于自動駕駛場景高度動態且充滿不確定性,擴散模型從隨機噪聲生成軌跡時,可能會產生高度相似、甚至完全重疊的軌跡分布,導致模式崩潰,使得生成的軌跡多樣性不足,難以覆蓋真實世界中的駕駛決策空間。

為了解決這些問題,我們提出截斷擴散策略,通過結合多模態錨點先驗,優化擴散模型的初始化和去噪過程,使其能夠從更合理的軌跡分布出發,而非從完全隨機的高斯噪聲開始。具體而言,我們首先在訓練數據中對駕駛軌跡進行聚類,得到一組代表性的錨點軌跡 (Anchor Trajectories) ,這些錨點能夠較好地覆蓋不同駕駛場景下的典型軌跡模式。在訓練時,我們不再讓模型從純隨機高斯分布中學習去噪,而是在錨點軌跡的基礎上添加少量噪聲,形成一個更具物理合理性的初始分布。相比于傳統擴散模型直接從隨機噪聲學習駕駛行為,這種方式大幅減少了去噪步驟的需求,讓模型可以從更接近真實駕駛行為的軌跡分布中進行優化。

在推理階段,我們直接從這些錨定的軌跡分布中采樣,而不是從完全隨機的高斯噪聲開始,并大幅縮短去噪過程,僅需2輪去噪步驟即可生成高質量的駕駛軌跡,相比傳統擴散策略加速10倍。此外,為了進一步提升軌跡的合理性,我們在去噪過程中引入了置信度評分機制 (Confidence Scoring Mechanism) ,通過對去噪后的軌跡進行動態評分,篩選出最符合物理約束和場景要求的軌跡。這種評分機制可以有效過濾掉異常或重疊的軌跡,避免模式崩潰問題,使最終生成的軌跡既具備多樣性,又保持合理性。

6eefe7b2-fb3d-11ef-9310-92fbcf53809c.png

此外,我們設計了一種級聯擴散解碼器,提升模型在去噪過程中的場景感知能力。傳統擴散模型通常采用單步解碼,即直接在每一步去噪后輸出軌跡,而我們的級聯擴散解碼器允許模型在每個去噪步驟中與環境感知信息進行多輪交互,通過層層遞進的方式優化軌跡質量。這種級聯機制結合了稀疏可變形注意力 (Sparse Deformable Attention) ,使得模型能夠高效地從鳥瞰視角 (BEV) 和透視視角 (PV) 提取關鍵信息,提升軌跡生成的穩定性和魯棒性。

綜上,我們的截斷擴散策略不僅保留了擴散模型在多模態軌跡建模上的強大能力,還通過錨點先驗和去噪優化,顯著提升了推理效率,并通過置信度評分和級聯解碼器,有效解決了模式崩潰問題,最終使得生成的駕駛軌跡更加貼近真實駕駛行為,使其更適用于實時自動駕駛系統。

實驗驗證

我們選擇采用更加嚴格的閉環評測方式,針對駕駛決策的數據集NAVSIM,來驗證我們的設計:

6f029a1a-fb3d-11ef-9310-92fbcf53809c.png

可以看到DiffusionDrive大幅領先之前所有的端到端方案,僅僅通過學習人類駕駛行為,不引入額外監督與后處理,我們超過了之前的冠軍方案Hydra-MDP。

EP指標的明顯優勢更是凸顯了DiffusionDrive方法的魯棒性。因為EP指標用于評測planning的完成度以及對干擾的魯棒性,而DiffusionDrive在這一指標上具有十分突出的優勢。

6f1498fa-fb3d-11ef-9310-92fbcf53809c.png

在消融實驗中,顯示我們提出的截斷式擴散策略和設計的Diffusion Decoder相比于傳統擴散策略能夠帶來更高的planning質量 (PDMS) ,更高的planning多模態特性 (D) ,更快的速度 (FPS) 。

可視化驗證

我們將模型在驗證集上推理得到的多模態軌跡可視化出來:

6f1ee878-fb3d-11ef-9310-92fbcf53809c.png

如上圖所示,我們不僅能夠輸出保守的跟車,也能夠輸出合理換道超車的行為。

6f48c30a-fb3d-11ef-9310-92fbcf53809c.png

上圖也是進一步驗證DiffusionDrive魯棒的多模態特性,輸出多樣化的planning軌跡能夠進一步與環境交互,避免碰撞。

6f6176d4-fb3d-11ef-9310-92fbcf53809c.png

上圖顯示DiffusionDrive還能和紅綠燈交互,所以在除了跟車行為之外的換道行為時,選擇停在停止線上,而模型在訓練中并沒有紅綠燈的標注,通過提出的范式,使得模型學習到了潛在的駕駛底層邏輯。

業務驗證

DiffusionDrive也在業務數據集上進行了規模化驗證。下面是實車測試的視頻

總結

我們提出DiffusionDrive,一種基于擴散模型的端到端自動駕駛方法,以截斷擴散策略解決傳統擴散方法的高計算成本和模式崩潰問題。通過引入多模態錨點先驗,我們將去噪過程從錨定的高斯分布開始,而非從純隨機噪聲進行迭代,大幅減少計算量,僅需2步即可生成高質量軌跡,相較于傳統擴散策略推理加速10倍。此外,我們設計了級聯擴散解碼器,結合場景感知信息逐步優化軌跡,提升軌跡預測的多樣性和準確性。

實驗表明,DiffusionDrive在NAVSIM和nuScenes數據集上均取得最優表現,顯著提升了規劃質量、軌跡多樣性和計算效率。相比現有SOTA方法,DiffusionDrive在保證實時性的同時,提高了20.8%軌跡精度,降低63.6%碰撞率。此外,我們更是在真實場景中驗證了DiffusionDrive的有效性。

本研究首次將截斷擴散策略引入端到端自動駕駛,突破了擴散模型計算開銷大、模式崩潰的瓶頸,為實時高效的多模態駕駛決策提供了一種全新范式。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 解碼器
    +關注

    關注

    9

    文章

    1163

    瀏覽量

    41662
  • 機器人
    +關注

    關注

    212

    文章

    29421

    瀏覽量

    211335
  • 模型
    +關注

    關注

    1

    文章

    3479

    瀏覽量

    49934
  • 自動駕駛
    +關注

    關注

    788

    文章

    14176

    瀏覽量

    169278

原文標題:CVPR 2025|DiffusionDrive: 邁向生成式多模態端到端自動駕駛

文章出處:【微信號:horizonrobotics,微信公眾號:地平線HorizonRobotics】歡迎添加關注!文章轉載請注明出處。

收藏 0人收藏

    評論

    相關推薦
    熱點推薦

    自動駕駛基于規則的決策和模型有何區別?

    自動駕駛架構的選擇上,也經歷了從感知、決策控制、執行的三段式架構到現在火熱的模型,尤其
    的頭像 發表于 04-13 09:38 ?2719次閱讀
    <b class='flag-5'>自動駕駛</b><b class='flag-5'>中</b>基于規則的決策和<b class='flag-5'>端</b><b class='flag-5'>到</b><b class='flag-5'>端</b>大<b class='flag-5'>模型</b>有何區別?

    FPGA自動駕駛領域有哪些應用?

    是FPGA自動駕駛領域的主要應用: 一、感知算法加速 圖像處理:自動駕駛需要通過攝像頭獲取并識別道路信息和行駛環境,這涉及大量的圖像處
    發表于 07-29 17:09

    自動駕駛真的會來嗎?

    自動駕駛原理示意GIF圖  特斯拉自動駕駛死亡事故給全世界帶來了極大的震驚,但這并不意味著基于壞消息之上的關注全然沒有正面意義。  接受新浪科技采訪,多位硅谷相關人士告訴新浪科技:
    發表于 07-21 09:00

    駕駛模型的發展歷程

    尋找駕駛模型的最早嘗試,至少可以追溯1989年的ALVINN
    的頭像 發表于 03-28 15:26 ?5084次閱讀
    <b class='flag-5'>端</b><b class='flag-5'>到</b><b class='flag-5'>端</b><b class='flag-5'>駕駛</b><b class='flag-5'>模型</b>的發展歷程

    如何基于深度神經網絡設計一個自動駕駛模型

    如何基于深度神經網絡設計一個自動駕駛模型?如何設計一個基于增強學習的自動駕駛決策系統?
    的頭像 發表于 04-29 16:44 ?5183次閱讀
    如何基于深度神經網絡設計一個<b class='flag-5'>端</b><b class='flag-5'>到</b><b class='flag-5'>端</b>的<b class='flag-5'>自動駕駛</b><b class='flag-5'>模型</b>?

    自動駕駛到底是什么?

    UniAD 統一自動駕駛關鍵任務,但是的訓練難度極大,對數據的要求和工程能力的要求比常規的技術棧要高,但是由此帶來的全局一致性讓整個系統變得更加簡潔,也能夠防止某個模塊進入局部最
    發表于 06-28 14:47 ?4195次閱讀
    <b class='flag-5'>端</b><b class='flag-5'>到</b><b class='flag-5'>端</b><b class='flag-5'>自動駕駛</b>到底是什么?

    理想汽車自動駕駛模型實現

    理想汽車感知、跟蹤、預測、決策和規劃等方面都進行了模型化,最終實現了模型。這種
    發表于 04-12 12:17 ?650次閱讀
    理想汽車<b class='flag-5'>自動駕駛</b><b class='flag-5'>端</b><b class='flag-5'>到</b><b class='flag-5'>端</b><b class='flag-5'>模型</b>實現

    理想汽車加速自動駕駛布局,成立“”實體組織

    近期,理想汽車在其智能駕駛領域邁出了重要一步,正式成立了專注于“自動駕駛”的實體組織,該組織規模超過200人,標志著理想在
    的頭像 發表于 07-17 15:42 ?1539次閱讀

    實現自動駕駛,唯有

    ,去年行業主流方案還是輕高精地圖城區智駕,今年大家的目標都瞄到了(End-to-End, E2E)。
    的頭像 發表于 08-12 09:14 ?1256次閱讀
    實現<b class='flag-5'>自動駕駛</b>,唯有<b class='flag-5'>端</b><b class='flag-5'>到</b><b class='flag-5'>端</b>?

    Mobileye自動駕駛解決方案的深度解析

    自動駕駛技術正處于快速發展之中,各大科技公司和汽車制造商均在爭相布局,試圖在這個新興領域占據一席之地。Mobileye作為全球自動駕駛技術的領軍企業之一,憑借其獨特的
    的頭像 發表于 10-17 09:35 ?746次閱讀
    Mobileye<b class='flag-5'>端</b><b class='flag-5'>到</b><b class='flag-5'>端</b><b class='flag-5'>自動駕駛</b>解決方案的深度解析

    Waymo利用谷歌Gemini大模型,研發端自動駕駛系統

    邁新步,為其機器人出租車業務引入了一種基于谷歌多模態大語言模型(MLLM)“Gemini”的全新訓練模型——“
    的頭像 發表于 10-31 16:55 ?1531次閱讀

    連接視覺語言大模型自動駕駛

    自動駕駛大規模駕駛數據上訓練,展現出很強的決策規劃能力,但是面對復雜罕見的
    的頭像 發表于 11-07 15:15 ?605次閱讀
    連接視覺語言大<b class='flag-5'>模型</b>與<b class='flag-5'>端</b><b class='flag-5'>到</b><b class='flag-5'>端</b><b class='flag-5'>自動駕駛</b>

    自動泊車的應用

    與城市環境的復雜性和高速公路駕駛的風險相比,停車場景的特點是低速、空間有限和高可控性。這些特點為在車輛逐步部署
    的頭像 發表于 12-18 11:38 ?812次閱讀
    <b class='flag-5'>端</b><b class='flag-5'>到</b><b class='flag-5'>端</b><b class='flag-5'>在</b><b class='flag-5'>自動</b>泊車的應用

    自動駕駛技術研究與分析

    編者語:「智駕最前沿」微信公眾號后臺回復:C-0450,獲取本文參考報告:《自動駕駛行業研究報告》pdf下載方式。 自動駕駛進入202
    的頭像 發表于 12-19 13:07 ?752次閱讀

    一文帶你厘清自動駕駛架構差異

    [首發于智駕最前沿微信公眾號]隨著自動駕駛技術飛速發展,智能駕駛系統的設計思路也經歷了從傳統模塊化架構
    的頭像 發表于 05-08 09:07 ?145次閱讀
    一文帶你厘清<b class='flag-5'>自動駕駛</b><b class='flag-5'>端</b><b class='flag-5'>到</b><b class='flag-5'>端</b>架構差異
    主站蜘蛛池模板: 亚洲国产精品一区二区第一页 | 色欲AV亚洲永久无码精品 | 蜜芽亚洲欧美一区二区电影 | xxxx18动漫 | 久99久热只有精品国产99 | 中国老太婆xxxxx | 久99久热只有精品国产99 | X8X8拨牐拨牐X8免费视频8午夜 | 亚洲欧洲日韩天堂无吗 | 亚洲国产果果在线播放在线 | 亚洲精品视频在线观看视频 | 亚洲中文热码在线视频 | FREE性丰满白嫩白嫩的HD | yellow高清免费观看日本 | 亚洲伊人情人综合网站 | 99热久久爱五月天婷婷 | 国产三级在线观看视频 | 丝袜足控免费网站xx91 | 色欲人妻无码AV精品一区二区 | 国产野外无码理论片在线观看 | 9420高清免费观看在线大全 | 国产交换丝雨巅峰 | AV无码国产精品午夜A片麻豆 | 在线观看成人免费 | yellow在线观看免费观看大全 | 国产亚洲精品视频在线网 | 成人在线观看视频免费 | 攻把受做哭边走边肉楼梯PLAY | 99福利在线 | 精品亚洲视频在线观看 | 消息称老熟妇乱视频一区二区 | 精品在线观看一区 | 亚洲一区二区影院 | 5G年龄确认我已满18免费 | 在线中文字幕网站 | 国产高清视频青青青在线 | 欧美午夜不卡在线观看 | 国内外成人免费在线视频 | 久久婷五月综合色啪首页 | 国产99九九久久无码熟妇 | 暖暖的视频完整视频免费韩国 |

    電子發燒友

    中國電子工程師最喜歡的網站

    • 2931785位工程師會員交流學習
    • 獲取您個性化的科技前沿技術信息
    • 參加活動獲取豐厚的禮品