摘要
精準(zhǔn)定位是所有自動(dòng)駕駛系統(tǒng)的基礎(chǔ)組成模塊。本文,我們專注于雙目相機(jī),提出一種名叫SOFT2的新方法,這是當(dāng)前KITTI評(píng)分板上排名第一的算法。SOFT2依賴于對(duì)極幾何和運(yùn)動(dòng)學(xué)的約束,也就是說(shuō),它是為不會(huì)出現(xiàn)純旋轉(zhuǎn)的裝置而開(kāi)發(fā)的。我們最小化了點(diǎn)到極線的距離,這使得該方法能夠適應(yīng)對(duì)象深度的不確定性,作為第一步,我們僅使用一個(gè)攝像頭按比例估計(jì)運(yùn)動(dòng)。
然后,我們提出聯(lián)合估計(jì)絕對(duì)尺度和第二個(gè)相機(jī)的外部旋轉(zhuǎn)矩陣,以減輕變化的雙目設(shè)備的外參的影響。最后, 我們通過(guò)提出的極線BA處理,平滑幀時(shí)間窗口中的運(yùn)動(dòng)估計(jì) 。
我們還引入了一個(gè)多假設(shè)特征匹配方法,用于因視角變化出現(xiàn)的外觀變化而出現(xiàn)的自相似平面。我們?cè)u(píng)估SOFT2,并將其與ORB-SLAM2、OV2SLAM和VINS-FUSION在KITTI-360數(shù)據(jù)集上、KITTI訓(xùn)練序列、Málaga Urban數(shù)據(jù)集、Oxford Robotics Car數(shù)據(jù)集、和多車立體事件攝像機(jī)數(shù)據(jù)集進(jìn)行比較。
圖1. KITTI 01序列的極線圖解。相機(jī)光心點(diǎn)(紅色)大致與當(dāng)前(綠色)和之前(藍(lán)色)幀的極點(diǎn)重合-為了更好地可視化,點(diǎn)位于放大的中心圓中。正方形顯示當(dāng)前幀中檢測(cè)到的特征,而尾線將它們與來(lái)自上一幀的匹配點(diǎn)連接起來(lái)。綠線表示與前一幀特征關(guān)聯(lián)的極線。顏色將地面特征和其它特征進(jìn)行了區(qū)分。我們的方法最小化了所有特征與相關(guān)極線的垂直距離。
圖2.所提雙目里程計(jì)方法的整體流程。三角形分別代表左右相機(jī)。
圖3. 尺度和外參旋轉(zhuǎn)估計(jì)的闡述。彩色虛線表示代價(jià)函數(shù)中使用的極線代價(jià)對(duì)。紅色變量表示估計(jì)變量。
圖4.4幀極線BA的說(shuō)明。注意,我們只使用左相機(jī)的圖像。虛線表示代價(jià)函數(shù)中使用的額外極線代價(jià)對(duì),除了來(lái)自連續(xù)幀的函數(shù)外。紅色變量表示估計(jì)變量。
圖5.六條道路特征的示例,其中每三條分別表示:從左側(cè)攝像頭(左側(cè))看到的道路特征(左邊塊),使用SOFT2(中間塊)生成的預(yù)測(cè),以及在右側(cè)圖像中找到的相應(yīng)的特征(右側(cè)塊)。
圖6.在KITTI01序列的第390幀檢測(cè)到的ORB-SLAM2特征(上)和SOFT2特征(下)。道路特征被標(biāo)記為紫色,其它被標(biāo)記為青色。
圖7.六條道路特征的示例,其中每三條分別表示:從左側(cè)相機(jī)(左側(cè)塊)看到的特征,使用SOFT2生成過(guò)去5幀的預(yù)測(cè)(中間塊),以及在過(guò)去5幀左側(cè)圖像找到的特征(右側(cè)塊)。
圖8.三個(gè)KITTI-360序列的估計(jì)軌跡和真值。
表1.九個(gè)KITTI-360序列的實(shí)驗(yàn)評(píng)估(trel[%],rrelr[deg/100 m])。VO是基礎(chǔ)—本征矩陣+利用舊版本SOFT匹配器得到的尺度和外參。注意,SOFT2列表示包含帶極線BA的多假設(shè)透視校正匹配器的版本,即SOFT2=VO+MHPC+BA3。
圖9.外參估計(jì)結(jié)果顯示右側(cè)相機(jī)相對(duì)于左側(cè)相機(jī)的相對(duì)旋轉(zhuǎn),和有估計(jì)以及沒(méi)有估計(jì)的軌跡誤差影響。ORB-SLAM2的誤差也展示出來(lái),以供參考。
表2.在11個(gè)KITTI數(shù)據(jù)集訓(xùn)練序列的實(shí)驗(yàn)評(píng)估。
圖10.三個(gè)Málaga序列的估計(jì)軌跡和真值。
表3.Málaga數(shù)據(jù)集的實(shí)驗(yàn)評(píng)估。
圖11.三個(gè)Oxford片段的估計(jì)軌跡和真值。
表4.Oxford數(shù)據(jù)集的實(shí)驗(yàn)評(píng)估。
圖12.MVSEC序列的估計(jì)軌跡和真值。
表5.MVSEC數(shù)據(jù)集的實(shí)驗(yàn)評(píng)估。
審核編輯:劉清
-
MHP
+關(guān)注
關(guān)注
0文章
7瀏覽量
8911 -
SLAM
+關(guān)注
關(guān)注
23文章
423瀏覽量
31824 -
自動(dòng)駕駛系統(tǒng)
+關(guān)注
關(guān)注
0文章
65瀏覽量
6762 -
orb
+關(guān)注
關(guān)注
0文章
21瀏覽量
9893
原文標(biāo)題:SOFT2:基于點(diǎn)到極線度量的用于道路車輛的雙目視覺(jué)里程計(jì)
文章出處:【微信號(hào):3D視覺(jué)工坊,微信公眾號(hào):3D視覺(jué)工坊】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論