色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
电子发烧友
开通电子发烧友VIP会员 尊享10大特权
海量资料免费下载
精品直播免费看
优质内容免费畅学
课程9折专享价
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

解決由激光雷達線數差異導致的三維目標檢測域適應問題

倩倩 ? 來源:CVer ? 作者:韋祎 ? 2022-08-31 14:21 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

本文是對我們ECCV 2022被接收的文章LiDAR Distillation: Bridging the Beam-Induced Domain Gap for 3D Object Detection的介紹。在這個工作中,我們通過構建偽低線數點云,利用知識蒸餾方法,來減小由激光雷達線數域差異導致的模型性能下降問題。很榮幸地,我們的文章被ECCV 2022收錄,目前項目代碼已開源,歡迎大家試用。

e8de29a2-28eb-11ed-ba43-dac502259ad0.jpg

arXiv:https://arxiv.org/abs/2203.14956

Code(已開源):

https://github.com/weiyithu/LiDAR-Distillation

概述

近年來隨著人工智能的發展,自動駕駛技術開始逐步落地,廣泛應用在無人機,清潔機器人,無人配送小車等無人系統中。而三維目標檢測是自動駕駛技術中的重要一環,是三維環境感知的基礎,其目的是檢測出三維空間中每個物體的三維緊致框。相較于基于圖像的純視覺算法,基于點云三維目標檢測方法精度更高,可以提供更加準確的三維位置,是現階段高階自動駕駛使用的方案。

激光雷達雖然可以提供準確的三維信息,但價格也是昂貴的,尤其是高線數激光雷達。因此在一些較低成本的產品中,例如清潔機器人和無人配送車,無法部署高線數雷達。然而現有公開數據集大部分都是用高線數雷達采集的,這中間存在著線數導致的域差異問題會使得我們無法很好地利用這些大型的公開數據集。除此之外,與RGB相機不同,激光雷達產品更新迭代較快,不同類型的激光雷達線數也會是不同的。對于每一代產品都去重新采集數據集是非常費時費力,不切合實際的。因此如何更好地利用之前采集的高線數數據集是個值得探究的問題。

同時,我們發現之前的一些算法大部分都是為了通用域適應問題設計的(例如ST3D),但面對訓練集是高線數點云,測試集是低線數點云的場景,這些算法不能很好地處理。為了解決這個問題,我們提出了LiDAR Distillation。我們方法的核心是對源域高線數數據進行下采樣得到偽低線數點云,與目標域線數對齊。以在高線數點云數據集上訓練得到的三維目標檢測器作為教師網絡,在偽低線數點云數據集上訓練得到的三維目標檢測器作為學生網絡,進行離線知識蒸餾算法,提升學生網絡精度。由于下采樣過程是逐步進行的,整個框架是迭代框架。在Waymo->nuScenes上的實驗結果表明,我們的方法超過了當前最好方法的性能,并且我們的方法可以很好地與其它通用域適應方法進行結合,在推理過程中不增加任何計算量。

方法

e8fc6a20-28eb-11ed-ba43-dac502259ad0.jpg

1)生成低線數偽點云數據

為了對齊源域和目標域的點云線數(假設源域和目標域線數分別為Bs和Bt),我們首先需要對源域的高線數數據進行下采樣。與一般的點云下采樣方法不同,我們不能對點云進行均勻的采樣,而是需要按照每條線進行采樣。因此,我們首先需要將一個場景的點云中的每個點歸類到每條線中。雖然有一些公開數據集中的數據有線束的標注,但很多激光雷達點云數據(例如KITTI)并沒有這個信息,我們需要自己設計算法分離出每條線上的點。我們將每個點的笛卡爾坐標轉換成球坐標:

e926aa88-28eb-11ed-ba43-dac502259ad0.png

e9349a12-28eb-11ed-ba43-dac502259ad0.png

2)利用高線數點云數據進行知識蒸餾

知識蒸餾框架中包含兩個模型:教師網絡和學生網絡。一般而言,教師網絡擁有更多的參數量和更強的表示能力,可以達到更好的性能;而學生網絡模型更小,推理速度更快,能更好地用在存算資源受限的設備中。學生網絡通過模仿教師網絡的特征來提升自身的性能。與傳統知識蒸餾方法不同的是,在我們的方法中,教師網絡和學生網絡的結構相同,唯一區別在于教師網絡是在高線數數據上訓練得到的,而學生網絡是在低線數數據上訓練所得。因此我們利用知識蒸餾的目的是將高線數點云中的豐富信息量傳遞給學生網絡。

我們注意到大部分三維目標檢測框架都會將三維特征投影到二維鳥瞰圖(BEV)上,得到BEV特征。因此我們將BEV特征作為模仿目標。之前工作相關研究結果表明,由于特征圖維度非常高,直接回歸高維向量容易導致網絡不收斂。除此之外,特征圖存在很多低響應區域,這部分的特征往往是不重要的。為了解決這個問題,我們提取BEV特征圖中的感興趣區域(ROI)并在這些區域上執行模仿操作。整體目標函數如下:

e95b4982-28eb-11ed-ba43-dac502259ad0.png

3)漸進式知識蒸餾

我們發現當高線數數據和低線數數據之間的線數差異過大時(例如64線和16線),學生網絡無法很好地向教師網絡進行學習。我們提出漸進式知識蒸餾框架,逐步進行蒸餾學習。以64線數據到16線數據為例,我們首先生成偽32線數據,并在上面訓練得到學生模型。緊接著,我們生成偽16線數據,并以上一步得到的學生模型作為教師網絡。在偽16線數據上得到的學生網絡作為最終結果在目標域的16線數據上進行推理。

實驗結果

1) Waymo->nuScenes實驗

e97ef40e-28eb-11ed-ba43-dac502259ad0.jpg

需要注意的是雖然Waymo數據集是64線數據,nuScenes是32線數據,但由于nuScene垂直視場角是Waymo的一半,因此其等效線數為16線。盡管我們的方法僅僅是為了由線數不同導致的域差異問題而設計的,沒有考慮其它域差異因素,我們的方法仍然達到了SOTA的性能。并且,由于我們的方法沒有用到目標域的訓練數據,我們的方法很容易與其它方法進行互補結合(例如ST3D),達到更好的效果。

2)KITTI實驗

e99b95e6-28eb-11ed-ba43-dac502259ad0.jpg

為了排除源域和目標域其它域差異因素的干擾,我們在KITTI上進行了實驗。在這個實驗中,點云線數不同是源域和目標域唯一的差別,其實這個設置更貼合真正的業界應用。換句話說,雖然產品更新導致了激光雷達線數變化,但使用場景并沒有改變。但很可惜的是,學界并沒有在同一場景用不同線數雷達采集的數據集。因此我們只能將64線KITTI數據分別下采樣到多種低線數作為目標域。

3)預訓練實驗

e9c127fc-28eb-11ed-ba43-dac502259ad0.jpg

對于公司而言,他們愿意標一些源域的數據。因此我們也做了用我們方法在源域上進行預訓練,然后在目標域上進行微調的實驗。我們發現僅使用5%的目標域有標簽數據,我們方法得到的模型性能就可以超過沒有預訓練直接用100%目標域數據進行訓練得到模型的性能。

方法不足與未來展望

我們的方法是在BEV特征上進行知識蒸餾的,但很顯然這不是最優解,尤其是對于不是很依賴BEV特征的網絡而言,最近也出了不少三維目標檢測知識蒸餾的文章,這些方法值得借鑒。另一方面,現在的公開數據集基本上用的都是用機械式激光雷達采集的。而由于成本原因,現在越來越多的廠家選用固態或者混合固態的激光雷達,這些雷達中的線數概念與機械式的不同,因此如何在這些雷達中緩解域差異問題是一個不錯的未來方向。

審核編輯 :李倩

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 人工智能
    +關注

    關注

    1806

    文章

    48987

    瀏覽量

    249123
  • 激光雷達
    +關注

    關注

    971

    文章

    4231

    瀏覽量

    192773
  • 點云
    +關注

    關注

    0

    文章

    58

    瀏覽量

    3956

原文標題:ECCV 2022 | LiDAR Distillation: 解決由激光雷達線數差異導致的三維目標檢測域適應問題

文章出處:【微信號:CVer,微信公眾號:CVer】歡迎添加關注!文章轉載請注明出處。

收藏 0人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    CES 2025激光雷達觀察:“千激光雷達亮相,頭部廠商布局具身智能

    廠商也展示了最新的方案,包括集成在座艙內的激光雷達方案,FMCW激光雷達等。 ? 下面我們就來看下這屆CES上激光雷達行業有哪些新的發展動態。 ? 車載激光雷達邁向千
    的頭像 發表于 01-12 09:08 ?2305次閱讀
    CES 2025<b class='flag-5'>激光雷達</b>觀察:“千<b class='flag-5'>線</b>”<b class='flag-5'>激光雷達</b>亮相,頭部廠商布局具身智能

    全固態激光雷達為什么遲遲未來?其技術難點是什么?

    [首發于智駕最前沿微信公眾號]激光雷達(LiDAR)作為自動駕駛車輛環境感知的“第只眼”,能夠發射激光脈沖并接收反射光,實時構建周圍物體的三維點云,從而為車輛決策提供精準的距離和形狀
    的頭像 發表于 07-11 09:02 ?144次閱讀

    超酷的樹莓派激光雷達掃描儀!

    摘要這款DIY的PiLiDAR掃描儀項目利用樹莓派進行激光雷達測繪。激光雷達通過發射激光來掃描周圍環境,從而創建三維模型。該項目需要樹莓派4、攝像頭、電機以及
    的頭像 發表于 06-01 08:33 ?313次閱讀
    超酷的樹莓派<b class='flag-5'>激光雷達</b>掃描儀!

    愛普生高精度車規晶振助力激光雷達自動駕駛

    實現毫米級感知的關鍵支撐,為智能駕駛提供穩定可靠的“心跳”節拍。激光雷達通過發射激光脈沖并計算反射時間生成三維點云數據,其核心要求是時序同步精度與環境適應性。微小的
    的頭像 發表于 04-07 17:38 ?316次閱讀
    愛普生高精度車規晶振助力<b class='flag-5'>激光雷達</b>自動駕駛

    激光雷達技術:自動駕駛的應用與發展趨勢

    激光雷達是一種通過發射激光束并接收反射光束來測量物體距離和速度的傳感器。它能夠生成周圍環境的精確三維地圖,為自動駕駛車輛提供關鍵的感知信息。激光雷達的主要組成部分包括
    的頭像 發表于 03-10 10:16 ?937次閱讀
    <b class='flag-5'>激光雷達</b>技術:自動駕駛的應用與發展趨勢

    基于空譜特征優化選擇的高光譜激光雷達地物分類

    其可快速高效獲取地物目標三維空間信息的優勢特點,在地物分類、森林管理、資源調查、城市三維建模等諸多領域發揮著越來越重要的作用。隨著遙感探測領域的不斷拓展與深化,如何實現激光雷達在復雜場
    的頭像 發表于 01-08 10:29 ?459次閱讀
    基于空譜特征優化選擇的高光譜<b class='flag-5'>激光雷達</b>地物分類

    激光雷達的工作原理和分類

    激光雷達是一種以發射激光束來探測目標位置、速度等特征量的雷達系統。 這個系統也可以通過掃描發射和接收裝置來獲取目標物體的
    的頭像 發表于 11-07 09:28 ?3097次閱讀
    <b class='flag-5'>激光雷達</b>的工作原理和分類

    什么是三維點云分割

    點云是世界的一種非結構化三維數據表示,通常激光雷達傳感器、立體相機或深度傳感器采集。它一系列單個點組成,每個點 x、y 和 z 坐標定
    的頭像 發表于 10-29 09:21 ?647次閱讀

    激光雷達的維護與故障排查技巧

    激光雷達(LiDAR,Light Detection and Ranging)是一種利用激光進行距離測量和目標識別的技術。它廣泛應用于無人駕駛汽車、地理信息系統(GIS)、環境監測、航空航天等領域
    的頭像 發表于 10-27 11:04 ?3715次閱讀

    激光雷達技術的基于深度學習的進步

    一、激光雷達技術概述 激光雷達技術是一種基于激光的遙感技術,通過發射激光脈沖并接收反射回來的光來測量物體的距離和速度。與傳統的雷達技術相比,
    的頭像 發表于 10-27 10:57 ?1051次閱讀

    激光雷達在農業中的創新應用

    生長的詳細三維信息,這對于作物監測和管理至關重要。通過分析作物的冠層結構,農民可以評估作物的健康狀況、生長速度和產量潛力。例如,激光雷達可以檢測到作物密度的變化,這可能表明病蟲害或營養缺乏的問題。 2. 土地測繪與規劃 在農業
    的頭像 發表于 10-27 10:54 ?1641次閱讀

    激光雷達在地形測繪中的作用

    遙感技術,它通過向目標發射激光脈沖并接收其反射回來的光來測量距離。這種技術可以提供高分辨率的三維空間數據,包括地形、建筑物、植被和其他地表特征。激光雷達系統通常安裝在飛機、無人機或衛星
    的頭像 發表于 10-27 10:46 ?1425次閱讀

    LIDAR激光雷達逆向建模能用到revit當中嗎

    LIDAR激光雷達逆向建模是一種利用激光雷達技術獲取物體表面數據,然后通過計算機軟件進行建模的方法。在建筑行業中,這種方法可以用于建筑物的三維建模、結構分析、施工模擬等。Revit是一款專業的建筑
    的頭像 發表于 08-29 17:23 ?945次閱讀

    光學雷達激光雷達的區別是什么

    光學雷達激光雷達是兩種不同的遙感技術,它們在原理、應用、優缺點等方面都存在一定的差異。以下是對光學雷達激光雷達的比較: 定義和原理 光學
    的頭像 發表于 08-29 17:20 ?3228次閱讀

    激光雷達點云數據包含哪些信息

    )、環境監測、城市規劃等領域。激光雷達點云數據是激光雷達系統收集到的一系列三維空間坐標點,包含了豐富的空間信息。本文將介紹激光雷達點云數據包含的信息。 空間坐標信息
    的頭像 發表于 08-29 17:18 ?1818次閱讀
    主站蜘蛛池模板: 草莓视频在线观看免费观看高清 | 国产69精品久久久久乱码 | 亚洲欧美日韩精品久久奇米色影视 | 青青久久精品 | 午夜男女爽爽羞羞影院在线观看 | 亚洲三级视频 | 四虎成人影院 | 国产亚洲精品久久久999蜜臀 | 国产免费啪嗒啪嗒视频看看 | PORN白嫩内射合集 | 爱做久久久久久 | 亚洲精品免费视频 | 桃花在线视频观看免费 | 91久久偷偷做嫩草影院免 | 夜夜精品视频一区二区 | 992交通广播 | 3DNagoonimation动漫 | 久久综合给会久久狠狠狠 | 操他射他影院 | 欧洲vs美洲完整视频 | 久久人妻熟女中文字幕AV蜜芽 | 亚洲99精品A片久久久久久 | 99免费观看视频 | poronovideos动物狗猪 | 双手绑在床头调教乳尖 | 久久久国产精品免费A片蜜臀 | 在线高清视频不卡无码 | 亚洲免费精品 | 国产毛片A级久久久不卡精品 | 国产老师开裆丝袜喷水漫画 | 日产精品高潮呻吟AV久久 | 月夜直播视频免费观看 | 九色PORNY蝌蚪视频首页 | 玉娇龙续集春雪瓶txt免费阅读 | 果冻传媒最新视频在线观看 | 国产精品日本欧美一区二区 | 99re热视频这里只有精品 | 成人免费视频在 | 99视频在线观看免费视频 | 久久久高清国产999尤物 | 亚洲色婷婷久久精品AV蜜桃 |

    電子發燒友

    中國電子工程師最喜歡的網站

    • 2931785位工程師會員交流學習
    • 獲取您個性化的科技前沿技術信息
    • 參加活動獲取豐厚的禮品