最新SOTA！隱式學習場景幾何信息進行全局定位

1. 論文淺談

全局視覺定位是指利用單張圖像，根據已有的地圖，估計相機的絕對姿態（位置和方向）。這種技術可以應用于機器人和增強/虛擬現實等領域。這篇文章的主要貢獻是提出了一種利用姿態標簽來學習場景的三維幾何信息，并利用幾何信息來估計相機姿態的方法。具體來說，作者設計了一個學習模型，它可以從圖像中預測兩種三維幾何表示（X, Y, Z坐標），一種是相機坐標系下的，另一種是全局坐標系下的。然后，通過將這兩種表示進行剛性對齊，就可以得到與姿態標簽匹配的姿態估計。這種方法還可以引入額外的學習約束，比如最小化兩種三維表示之間的對齊誤差，以及全局三維表示和圖像像素之間的重投影誤差，從而提高定位精度。在推理階段，模型可以實時地從單張圖像中估計出場景的三維幾何信息，并通過對齊得到姿態。作者在三個常用的視覺定位數據集上進行了實驗，進行了消融分析，并證明了他們的方法在所有數據集上都超過了現有的回歸方法的姿態精度，并且可以實時地從單張圖像中估計出場景的三維幾何信息，并通過對齊得到姿態。

圖1：我們在劍橋地標數據集(醫院場景)的樣本上的視覺定位方案的示意圖。我們的方法只需要一組圖像及其對應的姿態作為訓練的標簽。左側：給定單個圖像，我們的方法估計相機在給定場景中的全局姿態。右側：我們展示了我們方案的中間輸出，這些輸出用于估計姿態。對于輸入圖像，所提出的過程估計兩個點云和一組權重。第一個點云表示相機坐標系中的場景幾何(X，Y，Z 坐標)，而第二個點云表示全局坐標系中的場景幾何。這兩個點云及預測的權重用于估計相機的全局姿態。在圖 1 的右側，我們可視化了三個樣本輸入圖像，它們相應的間接估計的 場景表示(點云)和權重。在右上方，我們可以看到只有一個 點云，它對應于三個重疊的點云在全局坐標系中，也是由我們的算法估計的。盡管我們的方法隱式地估計場景在局部和全局參考系中的 點云表示，但它不是一個建圖或 重建算法，而是一個定位算法，隱式地學習和使用 場景幾何。

2. 原文摘要

全局視覺定位是在先前建模的區域中，從單個圖像估計相機的絕對姿態。從單個圖像獲得姿態對于許多機器人和增強/虛擬現實應用具有重要意義。近年來，深度學習在計算機視覺領域取得了顯著的進展，促進了許多方法的發展，這些方法直接從輸入圖像中回歸出 自由度姿態。然而，這些方法忽略了基礎場景幾何對于姿態回歸的重要作用。單目重定位面臨的一個主要困難是，可用于監督訓練的數據非常稀少，只有圖像對應的 自由度姿態。為了解決這個問題，我們提出了一種新穎的方法，它能夠利用這些極少的可用標簽(即姿態)來學習場景的 幾何，并利用幾何信息來估計相機的 自由度姿態。我們提出了一種基于學習的方法，它利用這些姿態標簽和剛性配準來學習兩個 場景幾何表示，分別是相機坐標系下的(X，Y，Z)坐標和全局坐標系下的(X，Y，Z)坐標。給定單個圖像，我們的方法可以估計出這兩個 場景表示，然后通過將它們配準來估計出與姿態標簽一致的姿態。這種表達方式使我們能夠引入額外的學習約束，以最小化兩個 場景表示之間的 配準誤差和全局 場景表示與 圖像像素之間的 重投影誤差，從而提高定位精度。在推理階段，我們的模型可以估計出相機和全局坐標系下的 場景幾何，并通過剛性配準它們來實時地獲得姿態。我們在三個公開的視覺定位數據集上評估了我們的方法，進行了消融實驗，并展示了我們的方法在所有數據集上都優于現有的姿態回歸方法的姿態精度。

3. 方法詳解

圖2：我們的方法的流程圖。

我們的方法使用全局相機姿態 作為輸入圖像 的監督標簽，來訓練一個深度神經網絡，以學習場景的表示。

為此，我們將定位過程定義為獲取一張圖像作為輸入，生成兩組 點，每組在不同的坐標系統中。第一組是全局參考系中的一組 坐標 。這些是由網絡直接預測的。第二組是相機坐標系中的一組 坐標 。對于后者，網絡預測深度，然后使用內參通過方程(6)進行反向投影以獲得相機坐標系中的 坐標。通過圖像像素坐標，這兩個 點云內在匹配。

使用剛性配準，可以通過對齊兩個點云來估計姿態 。為此，我們利用 Kabsch 算法。它是可微的，無參數的，并以閉式解的形式在單步中獲得解決方案。這使得過程端到端可訓練。

為了考慮預測的不完美性，網絡預測一組權重 ，用于評估每個 對應點對剛性配準的貢獻大小。給定這樣的對應關系，然后應用加權 Kabsch 算法來估計從相機坐標系統到全局坐標系統的相對姿態。給定 個 坐標，該加權最小化目標定義為：

，(1)

可以描述為：平移 通過居中兩個點云來消除姿態的平移部分：。

然后通過奇異值分解(SVD)恢復旋轉 和平移 ：。

我們應用姿態損失以引導剛性配準，以使網絡學習 幾何表示。給定地面真實姿態 ，由旋轉 和平移 組件組成，可以定義一個成本函數來最小化估計分量和地面真實分量之間的差異。我們將損失定義為位置損失和旋轉損失的總和：，(2)其中,，(3)

定義了計算出的平移 與實際平移 之間的位置誤差，且(4)

度量計算出的旋轉 與地面真實旋轉 之間的角度誤差。

通過梯度下降預測的姿態被調整，在訓練過程中，由姿態損失方程(2)引導，以匹配地面真實姿態，從而間接調整兩個幾何表示(3D 云)。所提出的表達方式允許包含額外的約束，這些約束可主動指導從姿態進行隱含 3D 幾何表示的優化。因此，我們引入一致性損失來約束幾何預測根據地面真實姿態對齊。我們首先使用地面真實姿態將相機坐標系中的 3D 點轉換到全局坐標系中。一致性損失測量全局坐標系中的 3D 點 與從相機坐標系轉換的 3D 點 之間的誤差，使用地面真實姿態，我們將其稱為一致性損失。我們將其定義為：

，(5)

而不是直接預測 坐標，我們可以調整網絡以預測深度。給定深度，其形成相機透視圖中的 Z 坐標，給定相機內參，X 和 Y 直接從圖像像素和深度獲得。因此，相機坐標系中的 3D 點 是通過根據方程(6)反投影深度獲得的：

，(6)

其中 、、 和 分別表示同質像素坐標、相機內參矩陣、深度和相應的相機坐標系中的點。

此外，通過利用重投影損失來最小化重新投影全局坐標系中的 3D 坐標與圖像框架中的 2D 圖像像素之間的誤差，以進一步約束全局坐標中的 3D 坐標。其定義為：

，(7)

其中 將點從 3D 全局坐標系投影到圖像坐標系中。

利用姿態標簽和定義的表達方式，我們的方法隱式學習場景的幾何表示。在推理時給定圖像，所提出的方法估計場景的幾何并將其用于姿態計算。

然后總損失是姿態損失、重投影損失和一致性損失的加權組合：

，(8)

其中 、 和 是損失加權因子。

4. 實驗結果

本文在三個常用的視覺定位數據集上進行了實驗，分別是劍橋地標數據集，7場景數據集和12場景數據集。這些數據集包含了不同的場景，如室內、室外、動態、靜態等，以及不同的姿態變化，如旋轉、平移、縮放等。本文使用了兩種評價指標，分別是位置誤差和方向誤差。位置誤差是指估計的相機位置和真實位置之間的歐氏距離，方向誤差是指估計的相機方向和真實方向之間的角度差。實驗結果表明，本文的方法在所有數據集上都超過了現有的回歸方法的姿態精度。并且可以實時地從單張圖像中估計出場景的三維幾何信息，并通過對齊得到姿態。

表I：我們的方法和最先進的定位方法在劍橋地標數據集和7場景數據集上的姿態誤差的比較。

表II：我們的方法在劍橋地標數據集、7場景數據集和12場景數據集上的消融實驗結果。

表III：不同的過濾方法對我們的方法的姿態精度的影響。

圖3：在7Scenes數據集上的預測結果的可視化示例。

5. 結論

我們提出了一種新穎的方法，它可以從單個 RGB 圖像進行全局 6 自由度姿態估計。我們的方法與大多數現有的姿態回歸方法有相同的約束條件，即：從一組圖像姿態對進行訓練，從單個圖像估計姿態，僅保存網絡權重，并在實時內輸出姿態。然而，我們的方法能夠獲得更準確的姿態估計，這是因為我們將幾何信息納入了姿態估計過程中。要實現這一點，我們面臨的挑戰是，如何利用僅給出的標簽(姿態)來學習這種幾何，以及如何在實時內利用幾何來估計姿態。

我們方法的主要創新之處在于，我們使用姿態目標來指導深度神經網絡，通過可微分的剛性配準，學習場景幾何，而不需要在訓練時提供這種幾何的顯式地面真值。我們的方法接收單個圖像作為輸入，并僅使用姿態標簽來隱式地學習場景的幾何表示。這些隱式學習的幾何表示是場景在兩個參考系(全局坐標系和相機坐標系)下的三維坐標(X，Y，Z 坐標)。

我們使用無參數和可微分的剛性配準，通過深度神經網絡傳遞梯度，以調整其權重并持續地學習這些表示，而不需要這些量的顯式地面真值標簽。除了姿態損失之外，我們方法的另一個創新之處在于，它允許引入額外的學習損失，而這在僅進行姿態回歸的定位過程中是不可行的。我們引入了一致性損失，使兩個幾何表示與幾何姿態保持一致，并引入了重投影損失，以將全局坐標下的三維坐標約束到二維圖像像素上。通過大量的實驗，我們展示了我們的方法在定位精度上優于當前最先進的回歸方法，并且可以實時運行。
最后，我們展示了我們的方法可以利用部分標簽(僅位置標簽)來對預訓練模型進行微調，從而改善定位和定向的性能。在未來的工作中，我們希望利用基礎模型生成的嵌入，并將其集成到我們學習的三維表示中，以利用場景語義進行更精確的姿態估計。

審核編輯：黃飛