訓練目標 對于每個對象k，我們僅在該對象的2D邊界框內采樣訓練像素，用Rk表示，并且僅針對其2D對象掩碼內的像素優化深度和顏色，用Mk表示。注意，Mk ? Rk始終成立。對象k的深度、顏色和占用損失定義如下：

然后，整體的訓練目標對所有K個對象進行損失累積：

我們選擇損失權重λ1 = 5和λ2 = 10，我們在實驗中發現這些權重效果很好。

3.4. 組合式場景渲染

由于vMAP在純粹的解耦表示空間中表示對象，我們可以通過在其估計的3D對象邊界內查詢來獲得每個3D對象，并輕松地進行操作。對于2D新視圖合成，我們使用Ray-Box Intersection算法[14]來計算每個對象的近距離和遠距離邊界，然后在每條射線上對渲染深度進行排序，實現對遮擋的場景級渲染。這種解耦表示還打開了其他類型的細粒度對象級操作，例如通過在解耦的預訓練特征場上進行條件變形物體的形狀或紋理[20, 42]，這被視為一個有趣的未來方向。

4.實驗

我們對各種不同的數據集對vMAP進行了全面評估，其中包括模擬和真實世界的序列，有的有地面真實物體的掩碼和姿態，有的沒有。對于所有數據集，我們在2D和3D場景級別和對象級別的渲染上定性地將我們的系統與之前最先進的SLAM框架進行了比較。我們還在具有地面真實網格的數據集中進行了定量比較。更多結果請參閱我們附帶的補充材料。

4.1. 實驗設置

數據集 我們在Replica [29]、ScanNet [3]和TUM RGB-D [6]上進行了評估。每個數據集包含具有不同質量的對象掩碼、深度和姿態測量的序列。此外，我們還展示了vMAP在由Azure Kinect RGB-D相機記錄的復雜真實世界中的性能。這些數據集的概述如表1所示。

表1. 我們評估的數據集概述

具有完美地面真實信息的數據集代表了我們系統的上限性能。我們預期vMAP在真實世界環境中的性能可以通過與更好的實例分割和姿態估計框架相結合而進一步提高。

實施細節 我們在一臺桌面PC上進行所有實驗，配備3.60 GHz的i7-11700K CPU和一張Nvidia RTX 3090 GPU。我們選擇實例分割檢測器為Detic [47]，在開放詞匯LVIS數據集 [7]上進行預訓練，該數據集包含1000多個對象類別。我們選擇姿態估計框架為ORB-SLAM3 [2]，因為它具有快速和準確的跟蹤性能。我們使用來自ORB-SLAM3的最新估計不斷更新關鍵幀的姿態。

我們對所有數據集應用了相同的超參數集。我們的對象和背景模型都使用了4層MLP，每層的隱藏大小分別為32（對象）和128（背景）。對于對象/背景，我們選擇每25/50幀一個關鍵幀，每個訓練步驟使用120/1200條射線，每條射線有10個點。場景中的對象數量通常在20到70個之間，其中對象數量最多的Replica和ScanNet場景中，平均每個場景有50個對象。

指標

按照之前的研究[31, 48]的慣例，我們采用準確度（Accuracy）、完整度（Completion）和完整度比率（Completion Ratio）作為3D場景級別重建的度量指標。此外，我們注意到這樣的場景級別指標在重建墻壁和地板等大型物體方面存在嚴重偏差。因此，我們還提供了對象級別的這些指標，通過對每個場景中所有對象的指標進行平均計算。

圖4. 使用vMAP與TSDF-Fusion和ObjSDF進行對象重建的可視化比較。請注意，來自ObjSDF的所有對象重建都需要更長的離線訓練時間。ObjSDF提供的所有對象網格由原始作者提供。

圖5. 在選擇的ScanNet序列中，展示了NICE-SLAM?（左）和vMAP（右）的場景重建可視化結果。對于感興趣的區域進行了放大顯示。NICE-SLAM?使用了地面真實姿態進行重新訓練。

4.2. 場景和物體重建評估

在Replica數據集上的結果

我們在8個Replica場景上進行了實驗，使用[31]提供的渲染軌跡，每個場景包含2000個RGB-D幀。表2顯示了這些Replica室內序列中的平均定量重建結果。對于場景級別的重建，我們與TSDF-Fusion [46]、iMAP [31]和NICE-SLAM [48]進行了比較。為了隔離重建效果，我們還提供了這些基線方法在使用地面真實姿態重新訓練后的結果（標記為?），以便進行公平比較。具體而言，iMAP?被實現為vMAP的一種特殊情況，將整個場景視為一個物體實例。對于物體級別的重建，我們比較了在使用地面真實姿態進行訓練的基線方法。

vMAP通過物體級別的表示具有顯著的優勢，能夠重建微小物體和具有細節的物體。值得注意的是，對于物體級別的完整性，vMAP相比于iMAP和NICE-SLAM實現了50-70%的改進。圖3展示了4個選定的Replica序列的場景重建結果，其中用彩色框標出了感興趣的區域。關于2D新視角渲染的定量結果將在補充材料中提供。

在ScanNet上的結果

為了在更具挑戰性的環境中進行評估，我們在ScanNet [3]上進行了實驗，該數據集由真實場景組成，具有更多噪聲的地面真實深度圖和物體掩碼。我們選擇了ObjSDF [37]選擇的一段ScanNet序列，并與TSDF-Fusion和ObjSDF進行了物體級別的重建比較，與使用地面真實姿態重新訓練的NICE-SLAM進行了場景級別的重建比較。與ObjSDF不同，vMAP和TSDF-Fusion都是在具有深度信息的在線環境中運行，而不是像ObjSDF那樣從預先選擇的沒有深度信息的圖像進行更長時間的離線訓練。如圖4所示，我們可以看到vMAP生成的物體幾何結構比TSDF-Fusion更連貫；而比ObjSDF具有更細致的細節，盡管訓練時間要短得多。并且一致地，如圖5所示，與NICE-SLAM相比，我們可以看到vMAP生成的物體邊界和紋理更加清晰。

在TUM RGB-D上的結果

我們在真實世界中捕獲的TUM RGB-D序列上進行了評估，使用了一個現成的預訓練實例分割網絡[47]預測的物體掩碼和由ORB-SLAM3[2]估計的位姿。由于我們的物體檢測器沒有時空一致性，我們發現同一個物體偶爾會被檢測為兩個不同的實例，這導致了一些重構偽影。例如，圖6中顯示的物體“globe”在某些幀中也被檢測為“balloon”，導致最終物體重構中的“分割”偽影。總體而言，與TSDF-Fusion相比，vMAP仍然可以對場景中大多數物體進行更連貫的重構，并具有逼真的孔洞填充能力。然而，我們承認，由于缺乏普遍的3D先驗知識，我們的系統無法完成完整的視野之外區域（例如椅子的背部）的重構。

雖然我們的工作更注重地圖繪制性能而不是位姿估計，但我們也按照[31,48]報告了Tab. 3中的ATE RMSE，通過聯合優化相機位姿和地圖。我們可以觀察到，由于重構和跟蹤質量通常高度相互依賴，vMAP實現了卓越的性能。然而，與ORB-SLAM相比存在明顯的性能差距。因此，我們直接選擇ORB-SLAM作為我們的外部跟蹤系統，這導致了更快的訓練速度、更清晰的實現和更高的跟蹤質量。

對于實時運行的Azure Kinect RGB-D相機，在桌面場景上展示了vMAP的重構結果。如圖7所示，vMAP能夠生成來自不同類別的一系列逼真的、無缺陷的物體網格。

4.3. 性能分析

在本節中，我們比較了針對vMAP系統的不同訓練策略和架構設計選擇。為了簡單起見，所有實驗都在Replica Room-0序列上進行，使用我們的默認訓練超參數。

內存和運行時間

我們在表4和圖9中將vMAP與iMAP和NICE-SLAM進行了內存使用和運行時間的比較，所有方法都是使用了地面真實姿態進行訓練，并使用各自方法中列出的默認訓練超參數，以進行公平比較。具體而言，我們報告了整個序列的運行時間和每幀訓練的建圖時間，使用完全相同的硬件條件。我們可以看到，vMAP具有高度的內存效率，參數數量少于1M。我們想強調的是，vMAP在重構質量上取得了更好的表現，并且運行速度明顯快于iMAP和NICE-SLAM，分別提高了1.5倍和4倍的訓練速度（約5Hz）。

圖 8. 與使用 for 循環的標準順序操作相比，矢量化操作能夠實現極快的訓練速度。

向量化與順序訓練

我們通過使用向量化和順序操作（for循環）來對訓練速度進行了分析，針對不同數量的對象和不同物體模型的大小。在圖8中，我們可以看到，向量化訓練大大提高了優化速度，尤其是當我們有大量物體時。而且，使用向量化訓練時，即使在訓練多達200個物體時，每個優化步驟也不超過15毫秒。此外，向量化訓練在各種模型大小范圍內也是穩定的，這表明如果需要，我們可以訓練更大尺寸的物體模型，而額外的訓練時間非常小。如預期的那樣，當我們達到硬件的內存限制時，向量化訓練和for循環將最終具有相似的訓練速度。

為了并行訓練多個模型，我們最初嘗試的方法是為每個對象生成一個進程。然而，由于每個進程的CUDA內存開銷，我們只能生成非常有限數量的進程，這嚴重限制了對象的數量。

對象模型容量

由于向量化訓練在對象模型設計方面對訓練速度幾乎沒有影響，我們還研究了不同對象模型大小對對象級重建質量的影響。我們通過改變每個MLP層的隱藏層大小來嘗試不同的對象模型大小。在圖9中，我們可以看到從隱藏層大小為16開始，對象級性能開始飽和，進一步增加模型大小幾乎沒有改善或沒有改善。這表明對象級表示具有高度可壓縮性，并且可以通過很少的參數高效準確地參數化。

圖9. 對象級重建與模型參數（由網絡隱藏大小表示）的比較。vMAP比iMAP更緊湊，性能從隱藏大小為16開始飽和。

堆疊的MLP vs. 共享的MLP

除了通過單個獨立的MLP表示每個對象之外，我們還探索了共享MLP的設計，將多對象建圖視為多任務學習問題[26, 33]。在這種設計中，每個對象還與一個可學習的潛在編碼相關聯，這個潛在編碼被視為網絡的條件輸入，并與網絡權重一起進行聯合優化。盡管我們嘗試了多個多任務學習體系結構[12, 18]，但早期實驗（在圖9中標記為vMAP-S）顯示，這種共享的MLP設計在重建質量上略有下降，并且與堆疊的MLP相比，沒有明顯的訓練速度改進，尤其是在采用向量化訓練的情況下，我們發現共享的MLP設計可能導致不良的訓練性質：i）由于網絡權重和所有對象的潛在編碼在共享的表示空間中交織在一起，共享的MLP需要與所有對象的潛在編碼一起進行優化。ii）共享的MLP容量在訓練過程中是固定的，因此表示空間可能不足以處理日益增加的對象數量。這凸顯了解耦的對象表示空間的優勢，這是vMAP系統的一個關鍵設計元素。

5.結論

我們提出了vMAP，一個實時的基于對象級別的地圖生成系統，采用簡單而緊湊的神經隱式表示。通過將3D場景分解為一批小型獨立MLP表示的有意義實例，該系統以高效而靈活的方式建模3D場景，實現場景重組、獨立跟蹤和感興趣對象的持續更新。除了更準確、更緊湊的以對象為中心的3D重建，我們的系統還能夠預測每個對象的合理閉合表面，即使在部分遮擋的情況下也能如此。

局限性和未來工作

我們當前的系統依賴于現成的實例掩碼檢測器，這些實例掩碼不一定具有時空一致性。雖然通過數據關聯和多視圖監督部分減輕了歧義，但合理的全局約束將更好地解決這個問題。由于對象是獨立建模的，動態對象可以持續跟蹤和重建，以支持下游任務，例如機器人操控。為了將我們的系統擴展為單目稠密地圖生成系統，可以進一步整合深度估計網絡或更高效的神經渲染方法。

審核編輯：劉清