色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

一種用于視覺定位的2D-3D匹配方法GAM

3D視覺工坊 ? 來源:3D視覺工坊 ? 2023-02-16 10:18 ? 次閱讀

主要內容:

提出了一種新的2D-3D匹配方法,幾何輔助匹配(GAM),使用外觀信息和幾何上下文來改進2D-3D特征匹配,可以在保持高精度的同時增強2D-3D匹配的recall,將GAM插入到分層視覺定位pipeline中,表明GAM可以有效地提高定位的魯棒性和準確性,其實驗表明,GAM可以找到比手工啟發式和學習的方法更正確的匹配,在多個視覺定位數據集上獲得了最先進的結果。

Contributions:

提出了GAM,首先根據視覺外觀為每個2D點建立多個候選匹配,然后根據幾何上下文過濾不正確的匹配。

提出了一種稱為BMNet的深度神經網絡來處理多對多候選匹配,它可以預測每個2D-3D匹配的幾何先驗并輸出全局最優匹配集。

提出了一種具有新場景檢索策略的分層視覺定位方法,進一步提高了姿態估計的魯棒性。

所提出的定位方法在多個數據集上優于最先進的方法。

幾何輔助匹配:

583fcf36-ad34-11ed-bfe3-dac502259ad0.png

58593cbe-ad34-11ed-bfe3-dac502259ad0.png

網絡架構:

5877fa6e-ad34-11ed-bfe3-dac502259ad0.png

589dd0e0-ad34-11ed-bfe3-dac502259ad0.png

58b3f028-ad34-11ed-bfe3-dac502259ad0.png

Hungarian Pooling:

如果直接訓練g(g;θ),網絡參數將很難學習,因為幾何一致性可能與監督沖突,如下圖所示。

58cad842-ad34-11ed-bfe3-dac502259ad0.png

2D圖像點與在3D空間中接近的兩個3D點匹配,在相同的相機姿勢下,它們可能都有小的重投影誤差,網絡易于根據提取的幾何特征為它們生成相似的權重,這兩種對應關系都被認為是幾何一致的。

然而其中只有一個是inlier,其余的則是outlier,多個對應具有相似的幾何特征但具有不同標簽的這種差異使得網絡難以收斂。

為了解決這個問題,將匈牙利算法引入到網絡中進行端到端訓練。匈牙利算法可以找到全局最優的一對一匹配,因為只選擇了兩個對應關系中的一個,所以可以消除幾何一致性和監督之間的差異。

基于由g(g;θ)預測的權重向量w和二分圖g,權重矩陣w被構造為:

58e217c8-ad34-11ed-bfe3-dac502259ad0.png

其中W的未填充元素被設置為0,然后將匈牙利算法應用于該權重矩陣W獲得匹配M的最大權重。分配向量s由下列公式獲得:

58efcd46-ad34-11ed-bfe3-dac502259ad0.png

由于輸出邊緣來自輸入邊緣的子集,引入匈牙利算法的層可以被視為一個特殊的采樣層,稱之為匈牙利池,端到端訓練中使用的反向傳播公式如下:

590280bc-ad34-11ed-bfe3-dac502259ad0.png

分層定位pipeline:

59195f26-ad34-11ed-bfe3-dac502259ad0.png

對于查詢圖像,提取其全局特征和局部特征,全局特征用于粗略定位以確定要匹配的3D點集,提取的局部特征和結合相應描述符的3D點集都被送到GAM中以獲得全局最優2D-3D對應。

整個定位過程分為三個模塊,即場景檢索、2D-3D特征匹配和先驗引導姿態估計。

場景檢索:

594184ba-ad34-11ed-bfe3-dac502259ad0.png

596cbdce-ad34-11ed-bfe3-dac502259ad0.png

2D-3D特征匹配:

根據場景檢索的順序執行GAM并輸出匹配的2D-3D對應,對于第k個場景597d6ad4-ad34-11ed-bfe3-dac502259ad0.png,獲取其3D點和相應的描述子來構建3D特征集,在從查詢圖像提取的2D局部特征和3D特征之間執行GAM,輸出匹配M的最大權重,根據歐氏距離執行kNN比率匹配,當描述子被歸一化時,這可以通過矩陣運算有效地實現。

先驗引導的姿態估計:

由于M中仍然存在一些錯誤匹配,在RANSAC循環中應用PnP解算器,在RANSAC loop中,采樣2D-3D對應的概率由BMNet預測的似然決定,這使得能夠以更大的機會對可能的inlier進行采樣。

實驗:

首先進行了2D-3D匹配實驗,表明GAM以比手工制作的方法和學習方法更高的精度找到更多的真實匹配。

數據集:MegaDepth數據集中選擇一個位置作為2D-3D匹配評估的測試數據集。

將GAM與傳統手工制作方法和學習匹配方法進行了比較 使用最近鄰(NN)匹配器從描述符空間中的每個2D點的所有3D點中找到最近鄰,手工制作的異常值剔除方法包括比率測試(ratio)、距離閾值(distance)和彼此最近的鄰居(cross check),因為沒有其他基于學習的方法直接用于2D-3D特征匹配,因此將最近提出的一些在2D-2D匹配中表現良好的方法遷移到2D-3D進行比較,將LGCNet和OANet的輸入從2D-2D對應替換為2D3D對應,即LGCNet-2D3D和OANet2D3D

598c397e-ad34-11ed-bfe3-dac502259ad0.png

評估GAM在視覺定位方面的有效性以及提出的視覺定位框架: 數據集:Aachen Day-Night

599b47a2-ad34-11ed-bfe3-dac502259ad0.png

與SOTA定位方法的比較: 數據集:Cambridge Landmarks 和Aachen Day-Night

59b3d696-ad34-11ed-bfe3-dac502259ad0.png59cbcd96-ad34-11ed-bfe3-dac502259ad0.png

總結:


提出了一種用于視覺定位的2D-3D匹配方法GAM,同時使用外觀信息和幾何上下文來提高匹配性能,在保持高精度的同時提高了2D-3D匹配的召回率,其引入了一種新的二部匹配神經網絡BMNet以提取2D-3D對應的幾何特征,并可以學習全局幾何一致性以預測每個對應的真實匹配的可能性,還將匈牙利算法集成到BMNet中作為一個特殊的池層以端到端的方式找到最大權重匹配,使得定位能夠獲得更正確的匹配從而提高了定位的魯棒性和準確性。






審核編輯:劉清

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 神經網絡
    +關注

    關注

    42

    文章

    4771

    瀏覽量

    100719
  • gam
    gam
    +關注

    關注

    0

    文章

    5

    瀏覽量

    7275
  • 匹配器
    +關注

    關注

    0

    文章

    6

    瀏覽量

    5725

原文標題:用幾何信息來輔助基于特征的視覺定位(arxiv 2022)

文章出處:【微信號:3D視覺工坊,微信公眾號:3D視覺工坊】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    一種降低VIO/VSLAM系統漂移的新方法

    本文提出了一種方法,通過使用點到平面匹配將VIO/VSLAM系統生成的稀疏3D點云與數字孿生體進行對齊,從而實現精確且全球致的
    的頭像 發表于 12-13 11:18 ?128次閱讀
    <b class='flag-5'>一種</b>降低VIO/VSLAM系統漂移的新<b class='flag-5'>方法</b>

    一種將NeRFs應用于視覺定位任務的新方法

    視覺定位旨在估計在已知環境中捕獲的給定圖像的旋轉和位置,大致可以分為絕對姿態回歸(APR),場景坐標回歸(SCR)和分層方法(HM)。
    的頭像 發表于 10-28 10:03 ?194次閱讀
    <b class='flag-5'>一種</b>將NeRFs應<b class='flag-5'>用于</b><b class='flag-5'>視覺</b><b class='flag-5'>定位</b>任務的新<b class='flag-5'>方法</b>

    用于3D機器視覺的高度可擴展的TI DLP技術

    電子發燒友網站提供《適用于3D機器視覺的高度可擴展的TI DLP技術.pdf》資料免費下載
    發表于 08-23 09:57 ?0次下載
    適<b class='flag-5'>用于</b><b class='flag-5'>3D</b>機器<b class='flag-5'>視覺</b>的高度可擴展的TI DLP技術

    3D視覺引導的多SKU紙箱拆解

    在物流和包裝行業中,處理多種SKU紙箱的拆解是個常見的操作難題。傳統方法往往因為紙箱的尺寸、形狀和重量多樣性而遇到困難。為了解決這個問題,富唯智能提出了一種基于3D
    的頭像 發表于 07-05 18:11 ?599次閱讀
    <b class='flag-5'>3D</b><b class='flag-5'>視覺</b>引導的多SKU紙箱拆解

    蘇州吳中區多色PCB板元器件3D視覺檢測技術

    3D視覺檢測相較于2D視覺檢測,有其獨特的優勢,不受產品表面對比度影響,精確檢出產品形狀,可以測出高度(厚度)、體積、平整度等。在實際應用中可以與2
    的頭像 發表于 06-14 15:02 ?404次閱讀
    蘇州吳中區多色PCB板元器件<b class='flag-5'>3D</b><b class='flag-5'>視覺</b>檢測技術

    英倫科技的15.6寸2D-3D可切換光場裸眼3D顯示屏有哪些特點?

    隨著科技的快速發展,人類對于視覺體驗的追求也在不斷攀升。從平面的2D圖像到立體的3D影像,我們直在探索如何讓虛擬世界更加逼真。如今,英倫科技憑借其創新實力,推出了
    的頭像 發表于 05-28 11:17 ?359次閱讀
    英倫科技的15.6寸<b class='flag-5'>2D-3D</b>可切換光場裸眼<b class='flag-5'>3D</b>顯示屏有哪些特點?

    激光焊接視覺定位引導方法

    激光焊接是一種高效、精確的焊接技術,廣泛應用于汽車制造、航空航天、電子產品等領域。隨著工業自動化和智能化的發展,激光焊接的精度和效率需求日益增加。在此背景下,視覺定位引導技術成為提升激
    的頭像 發表于 05-28 10:34 ?514次閱讀
    激光焊接<b class='flag-5'>視覺</b><b class='flag-5'>定位</b>引導<b class='flag-5'>方法</b>

    有了2D NAND,為什么要升級到3D呢?

    2D NAND和3D NAND都是非易失性存儲技術(NVM Non-VolatileMemory),屬于Memory(存儲器)的一種
    的頭像 發表于 03-17 15:31 ?1015次閱讀
    有了<b class='flag-5'>2D</b> NAND,為什么要升級到<b class='flag-5'>3D</b>呢?

    Nullmax提出多相機3D目標檢測新方法QAF2D

    今天上午,計算機視覺領域頂會CVPR公布了最終的論文接收結果,Nullmax感知部門的3D目標檢測研究《Enhancing 3D Object Detection with 2D De
    的頭像 發表于 02-27 16:38 ?1132次閱讀
    Nullmax提出多相機<b class='flag-5'>3D</b>目標檢測新<b class='flag-5'>方法</b>QAF<b class='flag-5'>2D</b>

    工業自動化,3D視覺在五金件上下料中的應用

    3D視覺引導五金件上下料是一種先進的自動化解決方案,結合了3D視覺技術和機器人技術,實現對五金件的高效、準確上下料操作。以下是關于
    的頭像 發表于 02-21 11:38 ?487次閱讀
    工業自動化,<b class='flag-5'>3D</b><b class='flag-5'>視覺</b>在五金件上下料中的應用

    介紹一種使用2D材料進行3D集成的新方法

    美國賓夕法尼亞州立大學的研究人員展示了一種使用2D材料進行3D集成的新穎方法
    的頭像 發表于 01-13 11:37 ?1061次閱讀

    一種用于2D/3D圖像處理算法的指令集架構以及對應的算法部署方法

    二維(2D)和三維(3D)雙模視覺信息在自動駕駛、工業機器人、人機交互等前沿領域具有廣泛的應用前景。
    的頭像 發表于 01-05 10:35 ?458次閱讀
    <b class='flag-5'>一種</b><b class='flag-5'>用于</b><b class='flag-5'>2D</b>/<b class='flag-5'>3D</b>圖像處理算法的指令集架構以及對應的算法部署<b class='flag-5'>方法</b>

    用于3D對象檢測的點云深度學習方法

    隨著激光雷達傳感器(“光檢測和測距”的縮寫,有時稱為“激光掃描”,現在在些最新的 iPhone 上可用)或 RGB-D 攝像頭(一種 RGB-D 攝像頭)的興起,
    的頭像 發表于 01-03 10:32 ?1059次閱讀
    兩<b class='flag-5'>種</b>應<b class='flag-5'>用于</b><b class='flag-5'>3D</b>對象檢測的點云深度學習<b class='flag-5'>方法</b>

    OpenHarmony開源GPU庫Mesa3D適配說明

    介紹的是另外一種開源實現的方式:mesa3D。 Mesa3D 圖形庫就是OpenGL API的一種開源實現。新版本還支持OpenCL、OpenGL ES等等。Mesa
    發表于 12-25 11:38

    文了解3D視覺2D視覺的區別

    文了解3D視覺2D視覺的區別 3D視覺
    的頭像 發表于 12-25 11:15 ?3019次閱讀
    主站蜘蛛池模板: 侮辱丰满美丽的人妻| 99热成人精品国产免男男| 成人午夜精品无码区久久漫画日本 | 在线免费观看亚洲视频| 国产AV电影区二区三区曰曰骚网| 美女激清床上戏大全| 亚洲国产区中文在线观看| 耻辱の奴隷淑女中文字幕| 久久午夜一区二区| 亚洲AV 无码AV 中文字幕| 插曲的痛30分钟视频最新章节| 久久这里只精品热在线18| 亚洲精品第一页| 国产精品99久久久久久WWW| 青青青青久久久久国产的| 做暧暧免费30秒体验| 精品一区二区三区四区五区六区 | 亚洲成av人影院| 高H高肉强J短篇NP| 欧美片第1页 综合| 2022国产麻豆剧传媒剧情| 久草色在线| 亚洲欧洲免费三级网站| 国产精品青青草原app大全 | 午夜无码国产理论在线| 成人免费一区二区无码视频| 暖暖 免费 高清 日本视频大全| 影音先锋亚洲AV少妇熟女| 国产在线精彩视频| 小荡娃奶真大| 国产精品一区二区四区| 色欲久久精品AV无码| 超碰97 总站 中文字幕| 女教师苍井空体肉女教师S242| 国产嫩草在线观看| 哇嘎在线精品视频在线观看| 第一福利在线永久视频| 日本欧美午夜三级| 成人在线免费视频| 日韩在线中文字幕无码| 成人免费公开视频|