本文摘自于：鄭太雄, 黃帥, 李永福, 馮明馳. 基于視覺的三維重建關鍵技術研究綜述. 自動化學報, 2020, 46(4): 631-652. doi:?10.16383/j.aas.2017.c170502 ?

三維重建經過數十年的發展, 已經取得巨大的成功。基于視覺的三維重建在計算機領域是一個重要的研究內容, 主要通過使用相關儀器來獲取物體的二維圖像數據信息, 然后, 再對獲取的數據信息進行分析處理, 最后, 利用三維重建的相關理論重建出真實環境中物體表面的輪廓信息。

基于視覺的三維重建具有速度快、實時性好等優點, 能夠廣泛應用于人工智能、機器人、無人駕駛、SLAM (Simultaneous localization and mapping)、虛擬現實和3D打印等領域。三維重建技術的分類方法如下圖所示：

基于主動視覺的三維重建技術主要包括激光掃描法、結構光法、陰影法和TOF技術、雷達技術、Kinect技術等。 ?

1? 激光掃描法

激光掃描法其實就是利用激光測距儀來進行真實場景的測量。

首先, 激光測距儀發射光束到物體的表面, 然后, 根據接收信號和發送信號的時間差確定物體離激光測距儀的距離, 從而獲得測量物體的大小和形狀。

2?? 結構光法

結構光法的原理是首先按照標定準則將投影設備、圖像采集設備和待測物體組成一個三維重建系統; 其次, 在測量物體表面和參考平面分別投影具有某種規律的結構光圖; 然后再使用視覺傳感器進行圖像采集, 從而獲得待測物體表面以及物體的參考平面的結構光圖像投影信息; 最后, 利用三角測量原理、圖像處理等技術對獲取到的圖像數據進行處理, 計算出物體表面的深度信息, 從而實現二維圖像到三維圖像的轉換。按照投影圖像的不同, 結構光法可分為:點結構光法、線結構光法、面結構光法、網絡結構光和彩色結構光。

3?? 陰影法

陰影法是一種簡單、可靠、低功耗的重建物體三維模型的方法。這是一種基于弱結構光的方法, 與傳統的結構光法相比, 這種方法要求非常低, 只需要將一臺相機面向被燈光照射的物體, 通過移動光源前面的物體來捕獲移動的陰影, 再觀察陰影的空間位置, 從而重建出物體的三維結構模型。

4?? TOF技術

TOF (Time of flight)法是主動測距技術的一種, 可從發射極向物體發射脈沖光, 遇到物體反射后, 接收器收到反射光時停止計時, 由于光和聲在空氣中的傳播速度是不變的, 從而通過發射到接收的時間差來確定物體的距離, 進而確定產生的深度信息, 其原理如下式所示： 其中,?λ表示脈沖的波長;?表示波長的個數;?表示脈沖返回時的相位;?表示物體離發射之間的距離。 ? 5?? 雷達技術 雷達作為一種很常見的主動視覺傳感器, 可以通過發射和接收的光束之間的時間差來計算物體的距離、深度等信息。原理如下式所示: 式中,?c為光速;?Δt為發射與接受的時間間隔;?表示雷達到物體之間的距離。 ?

6?? Kinect技術

Kinect傳感器是最近幾年發展比較迅速的一種消費級的3D攝像機, 它是直接利用鐳射光散斑測距的方法獲取場景的深度信息，Kinect傳感器如下圖所示.Kinect傳感器中間的鏡頭為攝像機, 左右兩端的鏡頭被稱為3D深度感應器, 具有追焦的功能, 可以同時獲取深度信息、彩色信息、以及其他信息等。Kinect在使用前需要進行提前標定, 大多數標定都采用張正友標定法。?

基于被動視覺的三維重建技術

1?? 根據相機數目分類

基于被動視覺的三維重建技術是通過視覺傳感器(一臺或多臺相機)獲取圖像序列, 進而進行三維重建的一種技術。這種技術首先通過視覺傳感器(一臺或多臺相機)獲取圖像序列, 然后提取其中有用的信息, 最后, 對這些信息進行逆向工程的建模, 從而重建出物體的三維結構模型。 ?

1.1? ?單目視覺法

單目視覺是僅使用一臺相機進行三維重建的方法，為了進一步表示空間中任意一個三維點P在世界坐標系轉換到二維圖像坐標系之間的關系, 關系坐標可以表示為:

其中,?(XW,YW,ZW)為空間中的三維點;?(R??t)稱為旋轉矩陣和平移向量；?fx和fy是攝像機在兩個方向上的焦距;?(u0,v0)是攝像頭主點在圖像坐標系下的坐標;?(u,v)是圖像坐標系下的坐標; 從而通過上式可以求解出任意空間一點的三維坐標.基于單目視覺的三維重建流程如下圖所示。

1.2?? 雙目視覺法

雙目視覺的工作原理來源于人類的雙目視覺系統, 也就是說從不同的視角通過兩個相同的相機捕獲同一個位置下的左右兩側圖像, 然后再利用三角測量原理獲取物體的深度信息, 通過這些深度信息重建出物體的三維模型。目前, 基于雙目視覺的三維重建方法是三維重建技術中的熱點和難點。

1)?平行式光軸雙目視覺系統是比較理想的一種系統.在平行式光軸視覺系統中, 左右相機互相對齊, 它們的光軸也要互相平行, 形成一個共面的成像平面.由于左右相機只在軸上的位置不同, 而焦距等其他參數是相同的, 因此, 左右相機拍攝的同一物點所成的像分別在左右兩圖像上對應的對集線上, 可以較好的實現立體匹配。

2)?匯聚式光軸雙目視覺系統是將平行式光軸雙目視覺系統中的左右相機分別繞光心順時針和逆時針旋轉一定角度, 從而形成匯聚式雙目視覺系統。

1.3?? 多目視覺法

多目視覺是雙目視覺的一種延伸, 它是在雙目視覺的基礎上, 增加一臺或者多臺攝像機作為輔助進行測量, 從而獲得不同角度下同一物體的多對圖像。多目視覺法大多數的理論與雙目視覺法是相同的, 唯一不同的是, 多目視覺采用了三個或三個以上的攝像頭進行環境中目標物體的獲取.多目視覺的優點是當測量物體的表面傾斜的角度太大導致其中的一個或兩個CCD攝像機不能接收到漫反射光時, 其他的攝像機可繼續工作。

2? ?根據匹配方法分類

三維環境重建技術一直是機器視覺和數字圖像處理領域的重點研究對象, 眾多學者針對三維環境重建提出了很多不同的算法。而圖像特征信息匹配的質量在三維環境重建過程中起著十分關鍵的作用。圖像特征信息的匹配首先提取待重建圖像的匹配信息, 并使用相應的算法在提取出的匹配信息集中尋找最佳匹配集, 根據最佳匹配集求解變換模型。根據匹配的方法不同可以分為區域視覺法和特征視覺法。

2.1?? 區域視覺法

區域視覺法就是基于區域立體匹配算法的三維重建技術。該算法利用對極幾何約束和連續性, 提高了稠密匹配的效率和三維重建的質量。 ?

2.2?? 特征視覺法

基于特征視覺的三維重建技術其實就是通過相機獲取二維圖像, 然后提取圖像中的角點作為特征點,?以雙目立體視覺理論為基礎, 利用匹配算法, 獲得特征點匹配對, 再通過三角測量原理獲取深度值, 從而獲得物體表面的三維模型。

3?? 根據應用方法分類

基于被動視覺的三維重建技術根據所選取方法不同, 所重建的效果有明顯差別, 但每種方法都有不同的優點和缺點。因此, 根據應用方法可以分為運動恢復結構法和機器學習法。 ?

3.1?? 運動恢復結構法

如果獲取的圖像是從多個視點捕獲的多張圖像, 可以通過匹配算法獲得圖像中相同像素點的對應關系, 再利用匹配約束關系, 結合三角測量原理, 獲得空間點的三維坐標信息, 進而重建出物體的三維模型。這個過程被稱為運動恢復結構法, 即SfM (Structure from motion)。運動恢復結構法是通過三角測量原理來恢復場景的三維結構.這種方法不僅是三維重建的一種重要手段, 而且也是一種結構測量的方法, 能夠廣泛地應用在測繪、軍事偵查等領域.目前SfM主要分為兩類:增量式SfM 和全局式SfM 。 ?

3.2?? 機器學習法

機器學習其實就是使機器具有學習的能力, 從而不斷獲得新知識以及新技能得到有效提升.機器學習在三維環境重建中一直是重點研究對象, 因此, 根據機器學習可以分為常用的三種方法, 分別是統計學習法、神經網絡法和深度學習與語義法。

1)?統計學習法：就是需要通過不斷地學習再學習的過程.該方法是以大型數據庫為基礎, 例如, 人臉數據庫、場景數據庫等.首先, 這種方法需要對數據庫中的每一個目標進行特征統計, 這些特征主要包括亮度、紋理、幾何形狀、深度等, 然后, 再對重建目標的各種特征建立概率函數, 最后, 計算重建目標與數據庫中相似目標的概率大小, 取概率最大的目標深度為重建目標的深度, 再使用差值計算和紋理映射進行目標的三維重建。

2) 神經網絡法：基于神經網絡法的三維重建是利用神經網絡具有較好的泛函逼近能力, 能夠以任意的精度逼近任何非線性關系的優點來進行三維重建。

3) 深度學習與語義法：基于深度學習的三維重建最近幾年取得了非常大進展, 是當前計算機視覺領域比較流行的方法之一。學習系統是由多層卷積層和多層全連接層組成的卷積神經網絡(CNN)進行學習圖像的層次化特征表示, 這種方法能夠精確地重建出物體的幾何形狀。基于語義的三維重建可以運用在移動的行人或車輛等大的場景, 這種方法能夠精確地對環境中的目標物體進行識別, 而深度學習技術也是最近幾年剛剛興起的比較有優勢的識別方法, 因此, 深度學習和語義相結合的三維重建是未來幾年的研究趨勢, 也會受到該領域的研究者們廣泛關注。

編輯：黃飛

?