主要內(nèi)容： 提出了一種點(diǎn)線聯(lián)合優(yōu)化方法來解決相機(jī)姿態(tài)估計(jì)問題，即設(shè)計(jì)了一個(gè)線提取CNN用于后續(xù)的線匹配和姿態(tài)優(yōu)化過程，采用了一種基于極幾何約束和線重投影誤差過濾的由粗到細(xì)的匹配方法，還構(gòu)建了一個(gè)點(diǎn)線聯(lián)合優(yōu)化代價(jià)函數(shù)來優(yōu)化相機(jī)姿態(tài)。在公開數(shù)據(jù)集上進(jìn)行了充分的實(shí)驗(yàn)，即Wireframe和YorkUrban上的線提取、Aachen Day Night v1.1和InLoc上的定位性能，確認(rèn)了其點(diǎn)線聯(lián)合姿態(tài)優(yōu)化方法的有效性。

論文出發(fā)點(diǎn)： 基于點(diǎn)特征的相機(jī)定位技術(shù)蓬勃發(fā)展，已經(jīng)有許多論文方法提取圖像特征點(diǎn)、匹配以及基于點(diǎn)的建圖等，但是點(diǎn)特征對(duì)弱紋理區(qū)域和照明變化敏感，在某些情況下有結(jié)構(gòu)特征的線條更具魯棒性；對(duì)于圖像中線的檢測(cè)，傳統(tǒng)方法如LSD、FLD和EDline通常依賴于低水平圖像梯度和邊緣特征，隨著深度學(xué)習(xí)的快速發(fā)展，基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）的線段檢測(cè)模型已經(jīng)取得了優(yōu)于傳統(tǒng)方法的性能，本文就是利用深度學(xué)習(xí)以及具有手動(dòng)標(biāo)注的線框注釋的大規(guī)模數(shù)據(jù)集的支持，訓(xùn)練網(wǎng)絡(luò)模型捕獲結(jié)構(gòu)化線段（例如，建筑輪廓、樓梯），同時(shí)忽略與紋理相關(guān)的線段（例如地毯圖案）等。

Contribution：

提出了一種線檢測(cè)CNN（VLSE），其利用了新穎的線段表示和基于Stacked Hourglass network的定制混合卷積塊。

設(shè)計(jì)了一種基于初始姿態(tài)的由粗到細(xì)的線匹配方法，利用極幾何約束和重投影過濾來選擇高質(zhì)量的線匹配對(duì)。

采用一種包含更精確的線重投影誤差測(cè)量方法的點(diǎn)-線聯(lián)合優(yōu)化代價(jià)函數(shù)來獲得最終的高精度姿態(tài)。

Pipeline：

輸入數(shù)據(jù)：用于建圖的數(shù)據(jù)庫(kù)圖像集、具有初始姿態(tài)的查詢圖像以及來自初始純點(diǎn)定位的2D-3D點(diǎn)對(duì)應(yīng)。

整個(gè)算法有4個(gè)模塊： 模塊1是線提取，檢測(cè)用于建圖的數(shù)據(jù)庫(kù)圖像和用于2D-3D線匹配的查詢圖像上提取的線特征。 模塊2是線地圖重建，根據(jù)數(shù)據(jù)集的不同特征使用不同的策略重建3D線圖，對(duì)于可以用點(diǎn)稀疏重建的數(shù)據(jù)集使用一種基于SFM的名為L(zhǎng)ine3Dpp的現(xiàn)有方法，而對(duì)于具有深度圖像的數(shù)據(jù)集來說提出了一種輕量級(jí)的重建方法，該方法通過PnP和RANSAC的異常值過濾器將2D線直接映射到3D空間。 模塊3是線段匹配和過濾，基于給定的初始姿態(tài)，利用對(duì)極約束計(jì)算數(shù)據(jù)庫(kù)圖像和查詢圖像之間的粗略的2D線匹配，然后將數(shù)據(jù)庫(kù)圖像上的2D線映射到3D線圖上，并拒絕有較大重投影誤差的線匹配。 模塊4是點(diǎn)線聯(lián)合優(yōu)化，給定初始姿態(tài)和來自點(diǎn)定位的對(duì)應(yīng)點(diǎn)匹配，最小化點(diǎn)對(duì)應(yīng)和線對(duì)應(yīng)的重投影誤差以優(yōu)化得到最終姿態(tài)

模塊1 線提取： 網(wǎng)絡(luò)直接預(yù)測(cè)代表單個(gè)線段的兩個(gè)端點(diǎn)的位置。 線表示：

傳統(tǒng)上，線表示為線段長(zhǎng)度l和角度θ，如圖2（a）所示，其中Pr和Pl表示線段的左右端點(diǎn)，Vr是一個(gè)向量，表示Pr和中點(diǎn)Pm之間關(guān)系，傳統(tǒng)上預(yù)測(cè)角度θ將導(dǎo)致較大的線誤差，特別是對(duì)于長(zhǎng)線段的預(yù)測(cè)，因?yàn)棣鹊奈⑿∑顣?huì)對(duì)端點(diǎn)的位置產(chǎn)生很大影響。因此本文預(yù)測(cè)水平距離

，因?yàn)樵谟?xùn)練階段，作者發(fā)現(xiàn)位置偏移距離誤差比角度誤差更具鑒別性，此外采用dx和dy來生成Vr，而不是長(zhǎng)度l和θ，如圖2（b）所示。Pl和Pr表示為： 線提取CNN：

Stacked Hourglass network (HG)為生成共享特征的backbone，通過一系列的下采樣和上采樣，融合不同尺度下的特征信息，HG的基本卷積塊如圖（a）所示，

包括兩個(gè)1×1卷積層和一個(gè)3×3卷積層，與目標(biāo)檢測(cè)任務(wù)中的許多其他情況不同，沿直線方向向量的支持區(qū)域的長(zhǎng)度遠(yuǎn)大于沿直線法向量的區(qū)域的寬度，因此額外設(shè)計(jì)了兩個(gè)細(xì)長(zhǎng)卷積核（7×1和1×7），將其計(jì)算結(jié)果與原始3×3連接起來作為融合從不同感受野提取的視覺特征的方法。 之后，生成F表示的共享特征圖。向線段檢測(cè)頭提供共享特征圖，通過預(yù)測(cè)中點(diǎn)和相應(yīng)端點(diǎn)的位置來進(jìn)一步計(jì)算線段。表示似然圖的二維圖像，其意味著每個(gè)子像素是否包含中點(diǎn)，然后計(jì)算中點(diǎn)置信度圖，然后計(jì)算Softmax層；為了恢復(fù)原始圖像中的像素級(jí)中點(diǎn)預(yù)測(cè)引入了額外的2D圖

以形成中點(diǎn)的局部偏移，采用Sigmoid以[0,1）×[0,1]對(duì)邊界進(jìn)行歸一化；第三個(gè)二維圖

可推斷水平和垂直方向上相對(duì)于中點(diǎn)的端點(diǎn)位移。 ? 模塊2線匹配與濾波： 先通過圖像檢索方法找到與查詢圖像相似的一些數(shù)據(jù)庫(kù)圖像，然后利用提出的線提取CNN去提取線特征，利用極幾何約束去獲得一些候選的匹配線，

計(jì)算候選匹配線段之間的重疊率并將達(dá)到某個(gè)閾值的候選線保留為粗匹配線，在獲得粗略的2D-2D線匹配后利用3D線圖來建立2D-3D匹配，對(duì)于具有SFM模型的數(shù)據(jù)集采用了一種名為L(zhǎng)ine3Dpp的方法，對(duì)于具有深度圖像的數(shù)據(jù)集采用了一種輕量級(jí)重建方法，將二維直線直接映射到三維空間，然而由于前景和背景之間的深度不連續(xù)會(huì)生成錯(cuò)誤的三維線從而影響線的精度，因此在數(shù)據(jù)庫(kù)圖像上應(yīng)用帶RANSAC的PnP方法來過濾端點(diǎn)為異常值的直線，即如果線的兩個(gè)端點(diǎn)都是內(nèi)聯(lián)線則保留數(shù)據(jù)庫(kù)圖像的相應(yīng)2D-3D線匹配，最后利用重投影約束得到高質(zhì)量的2D-3D直線匹配，計(jì)算具有初始姿態(tài)的查詢圖像上的2D線和相應(yīng)3D線之間的重投影誤差，該誤差包含中點(diǎn)距離誤差和角度誤差，選擇距離和角度誤差最小的高質(zhì)量線匹配作為細(xì)線匹配

其提出的線匹配方法在一些場(chǎng)景下的表現(xiàn)：

模塊4點(diǎn)線聯(lián)合優(yōu)化相機(jī)姿態(tài)： 將傳統(tǒng)的點(diǎn)重投影約束與線約束相結(jié)合使相機(jī)優(yōu)化更具魯棒性，在獲得查詢圖像的相機(jī)初始姿勢(shì)時(shí)，姿勢(shì)解算器中的2D-3D內(nèi)點(diǎn)對(duì)應(yīng)關(guān)系

實(shí)驗(yàn)： 線段檢測(cè)網(wǎng)絡(luò)性能實(shí)驗(yàn)，在Wireframe 和 YorkUrban數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，

?

定位性能測(cè)試： 在Aachen Day Night v1.1和InLoc數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)。 亞琛的3D線地圖是通過COLMAP和Line3Dpp使用LSD線提取方法構(gòu)建的，因?yàn)閂LSE提取的線是完整的且不重復(fù)的，因此對(duì)線跟蹤不夠友好。通過將VLSE提取的2D線投影到深度圖像中來重建InLoc 3D線圖

為了驗(yàn)證線優(yōu)化和點(diǎn)線聯(lián)合優(yōu)化導(dǎo)致的定位精度的提高，在具有相同初始姿態(tài)的不同成本函數(shù)下對(duì)上述兩個(gè)數(shù)據(jù)集進(jìn)行了實(shí)驗(yàn)。結(jié)果見表二

?

編輯：黃飛

?