本文是北京大學陳寶權課題組聯(lián)合山東大學等單位將在SIGGRAPH 2019宣讀的論文的解讀。以室內大規(guī)模場景的掃描和重建為目標,提出了基于最優(yōu)質量傳輸理論的多機器人協(xié)同探索并重建未知室內場景模型的算法。
從機器人領域的移動導航、動作規(guī)劃和物體抓取等經典問題,到虛擬現實、增強現實和混合現實等圖形技術,都離不開對真實場景的三維建模。
隨著近幾年以微軟Kinect、英特爾RealSense等為代表的消費級RGB-D相機的普及,三維重建領域正經歷著一場“文藝復興”。
三維重建涉及計算機圖形學、計算機視覺和機器人等多個領域,旨在采集真實世界中的彩色圖像和深度圖像,并以此重建出真實場景的三維模型。
相比于傳統(tǒng)的激光或雷達掃描重建,近幾年RGB-D相機掃描(拍照)的重建算法(如KinectFusion、VoxelHashing)近幾年取得了巨大進展。
VoxelHashing大規(guī)模場景重建
目前的三維重建算法為場景建模帶來了很多便利,但是仍存在很多問題。
比如,即使是使用最先進的掃描重建算法,仍然需要訓練有素的專業(yè)掃描人員執(zhí)行掃描過程,算法的使用對普通用戶并不友好。
這是因為當前實時算法之所以能做到實時響應,是因為其做了很多假設,例如要求掃描設備的移動足夠平滑甚至是勻速,要求被掃描物體的表面有明顯的紋理或者幾何特征。
因此,普通用戶掃描過程中,經常會面臨算法失敗的問題。即使是專業(yè)掃描人員,在掃描過程中需要保持合適的移動速度和掃描朝向,這也是枯燥且繁重的工作。
主動式掃描和場景分析
于是,近年來越來越多使用機器人代替人來做掃描重建的工作問世。從單個物體到室內房間,這些工作使用機器人攜帶掃描設備,根據重建實時反饋,指導機器人掃描并建模。
相關工作
陳寶權老師帶領的Visual Computing and Learning 課題組近幾年發(fā)表了一些使用機器人做主動式掃描和建模的工作。
主動式掃描的現有工作在對于單個物體、房間或公寓等場景的掃描都取得了不錯的效果。于是,使用更多機器人進行大規(guī)模場景的掃描重建是一個重要的拓展方向。
主動式掃描和物體識別
群體智能是機器人領域的一個重要研究方向。目前已經有一些針對機器人協(xié)同合作的研究工作,大部分這些工作研究重點在于機器人之間的坐標定位和導航。也有一些工作基于貪心策略、MTSP(多旅行商問題)和區(qū)域分割等算法設計策略指導多個機器人協(xié)同工作,雖然取得了一些進展,但是在場景復雜、機器人數量較多情況下其難求解,缺乏靈活性,并沒有達到預期的效果。
我們的方法
以室內大規(guī)模場景的掃描和重建為目標,我們提出了基于最優(yōu)質量傳輸理論(Optimal Mass Transport)的多機器人協(xié)同探索并重建未知室內場景模型的算法。
(該論文題為《Multi-Robot Collaborative Dense Scene Reconstruction》,由北京大學客座學生董思言、周強與國防科技大學徐凱副教授,以及谷歌和慕尼黑工業(yè)大學等單位學者合作,由前沿計算研究中心執(zhí)行主任陳寶權教授指導完成。)
最優(yōu)質量傳輸理論其實大家都不陌生,最經典的例子是土豆的供給和需求問題,假設有若干地區(qū)(下圖藍色)供給土豆,若干地區(qū)(下圖桔色)需求土豆,不同地區(qū)直接運輸土豆的代價不同, 那么如何找出這樣一個規(guī)劃,使得所有需求地區(qū)都能得到滿足其需求的土豆數量,且總的運輸代價最低,這就是一個簡單的最優(yōu)質量傳輸模型。
最優(yōu)質量傳輸的例子
最優(yōu)質量傳輸理論就是為了研究這類優(yōu)化問題而提出,其目標是求出兩個分布(或者說集合)之間的映射關系,使得該映射在給定的度量下代價最低。
在機器人掃描重建問題中,我們可以把機器人看作是掃描的供給方,未知環(huán)境看作是掃描的需求方,而機器人實際執(zhí)行掃描任務所需要的代價(如移動距離)作為映射的度量。
以此為基礎,我們通過求解最優(yōu)質量傳輸,就可以得到機器人和掃描任務之間的映射,使掃描代價最低。
機器人掃描的最優(yōu)質量傳輸
機器人的空間位置分布可以直接作為掃描的供給分布。那么,如何度量未知環(huán)境對掃描的需求分布呢?
首先,所有的未知區(qū)域都屬于掃描的需求分布,它們需要得到機器人的掃描和重建。
另外,在掃描過程中,對于已掃描和重建的部分區(qū)域,我們沿襲最經典的三維重建方法KinectFusion中對掃描重建模型質量的評估方式,如果質量沒有達到目標,那么我們把這些區(qū)域也加入掃描的需求分布中,這樣我們得到了原始的需求分布。
由于掃描任務受掃描視角的影響,我們進一步推算出能掃描覆蓋需求分布的最佳掃描視角,這些掃描視角也就是接下來機器人的掃描任務,這些掃描視角的空間分布也就是最終的需求分布。
分析重建結果推算掃描視角作
接下來是對掃描代價度量的研究。
如果一個機器人只映射到了需求分布中的一個掃描任務,我們可以簡單地使用機器人到任務的最優(yōu)路徑長度作為其掃描代價;如果一個機器人映射到了多個掃描任務,那么我們使用機器人與這些任務構成的TSP(旅行商問題)路徑長度作為其代價。
這樣,我們就把多機器人掃描問題公式化成為了最優(yōu)質量傳輸模型。在求解優(yōu)化目標時,TSP的離散性給我們優(yōu)化問題的求解帶來了困難,于是我們進一步研究目標函數近似求解的方法,最終使用基于聚類思想的方法求解,得到了不錯的效果。
隨著掃描的進行,場景會不斷被探索重建,這個過程中最優(yōu)質量傳輸的求解也會隨之更新,直到完整的場景被高質量地重建出來。
隨場景更新而重新計算最優(yōu)質量傳輸
我們的結果
我們在模擬器中使用Matterport3D與SUNCG數據集對算法進行了測試,取得了不錯的效果。
Matterport3D (上圖) 與 SUNCG (下圖) 數據集測試結果
同時,我們也在五院的幾個房間使用Turtlebot機器人做了真機實驗。下面是我們重建的結果。
五院幾個房間掃描重建結果
總結
我們提出了一種多個機器人協(xié)同掃描的理論和算法。基于最優(yōu)質量傳輸理論,使用分而治之的策略,驅動多個機器人高效地探索掃描室內大規(guī)模場景,并重建其三維模型。
附:關于SIGGRAPH
SIGGRAPH (Special Interest Group on Computer GRAPHics and Interactive Techniques) 是計算機領域規(guī)模最大的頂級會議、CCF A類會議,參加人數達2萬余人,每年收錄百余篇圖形學相關的優(yōu)秀論文,是計算機圖形領域集技術、藝術與展覽于一體的盛會。SIGGRAPH 2019將于2019年7月28日-8月1日在美國洛杉磯舉行。
-
機器人
+關注
關注
211文章
28384瀏覽量
206919 -
算法
+關注
關注
23文章
4607瀏覽量
92840 -
計算機視覺
+關注
關注
8文章
1698瀏覽量
45980
原文標題:北大陳寶權課題組SIGGRAPH 19:多機器人協(xié)同三維場景重建
文章出處:【微信號:AI_era,微信公眾號:新智元】歡迎添加關注!文章轉載請注明出處。
發(fā)布評論請先 登錄
相關推薦
評論