攝像頭深度檢測主要技術方法

攝像頭測距

深度檢測主要技術方法：

1.雙目匹配(雙RGB攝像頭+可選的照明系統)

三角測量原理即目標點在左右兩幅視圖中成像的橫坐標之間存在的差異(視差Disparity),與目標點到成像平面的距離成反比例的關系:Z = ft/d;得到深度信息。

雙目匹配采用三角測量原理完全基于圖像處理技術，通過尋找兩個圖像中的相同的特征點得到匹配點，從而得到深度值。

雙目測距中光源是環境光或者白光這種沒有經過編碼的光源，圖像識別完全取決于被拍攝的物體本身的特征點，因此匹配一直是雙目的一個難點。

匹配的精度和正確性很難保證，因此出現了結構光技術來解決匹配問題。

技術點：立體匹配算法，一般步驟：匹配代價計算，匹配代價疊加，視差獲取，視差細化(亞像素級)

優點：給定的工作條件下，較好效果，硬件簡單。

缺點：雙目使用的是物體本身的特征點，對表面顏色和紋理特征不明顯的物體失效。

因為結構光光源帶有很多特征點或者編碼，因此提供了很多的匹配角點或者直接的碼字，可以很方便的進行特征點的匹配。

換句話說，不需要使用被攝物體本身的特征點，因此能提供很好的匹配結果。

2.一般結構光(一個RGB攝像頭+結構光投射器(紅外)+結構光深度感應器(CMOS))

結構光測距的不同點在于對投射光源進行了編碼或者說特征化。這樣拍攝的是被編碼的光源投影到物體上被物體表面的深度調制過的圖像。

結構光基本原理：

通過投影一個預先設計好的圖案作為參考圖像(編碼光源)，將結構光投射至物體表面，再使用攝像機接收該物體表面反射的結構光圖案，這樣，同樣獲得了兩幅圖像，

一幅是預先設計的參考圖像，另外一幅是相機獲取的物體表面反射的結構光圖案，由于接收圖案必會因物體的立體型狀而發生變形，故可以通過該圖案在攝像機上的位置和形變程度來計算物體表面的空間信息。普通的結構光方法仍然是部分采用了三角測距原理的深度計算。

同樣是進行圖像匹配，這種方法比雙目匹配好的地方在于，參考圖像不是獲取的，而是經過專門設計的圖案，因此特征點是已知的，而且更容易從測試圖像中提取。

結構光采用三角視差測距，基線(光源與鏡頭光心的距離)越長精度越高。

技術點：提供什么樣的輔助信息來幫助快速而精確的對應點匹配是結構光編碼方法的衡量標準。

優點：成熟，經驗證，可量產

缺點：有限的供應商，技術和供應鏈門檻，陽光干擾敏感，多設備之間存在嚴重干擾

3.Light coding(激光散斑光源)

與結構光不同，Light coding的光源為“激光散斑”，是激光照射到粗糙物體或穿透毛玻璃后隨機形成的衍射斑點。這些散斑具有高度的隨機性，而且會隨著距離的不同而變換圖案。也就是說空間中任意兩處的散斑圖案都是不同的。

只要在空間中打上這樣的光，整個空間都被做了標記，把一個物體放進這個空間，只要看看物體上面的散斑圖案，就可以知道這個物體在什么位置了。當然在這之前要把整個空間的散斑圖案都記錄下來，所以要先做一次光源標定。primesense公司的三維測量使用的就是激光散斑技術。primesense將該技術稱為光源標定技術。光源標定技術在整個空間中每隔一段距離選取一個參考平面，把參考平面上的散斑圖案保存下來。

Light coding不是通過空間幾何關系求解的，它的測量精度只和標定時取得參考面的密度有關，參考面越密測量越精確。不用為了提高精度而將基線拉寬。

缺點：激光器發出的編碼光斑容易被太陽光淹沒掉

4. 單目相機測距

三角測距法

還記得文章開頭的那個小孔相機模型嗎？

三角測距法就是基于這個理想的，簡單的模型，進行的，在知道物體大小，透鏡焦距F，并測出圖像中的物體長度后，就可以基于下面公式進行計算長度Z了。

像素塊測距法

這個方法是玩openmv時知道的，openmv封裝的單目測距算法，就是將目標對象先在固定的距離（10cm）拍一張照片，測出照片中該物體的像素面積。得到一個比例系數K，然后將物體挪到任意位置，就可以根據像素面積估算距離了。不過這兩種方法肯定魯棒性都不咋樣。

5. 相機標定

在上文，相機內參加上相機外參一共有至少8個參數，而我們要想消除相機的畸變，就要靠相機標定來求解這8個未知參數。

說完相機模型，又要說一下相機標定了，相機標定是為了求解上面這8個參數的，那求解出這8個參數可以干什么呢？可以進行軟件消除畸變，也就是在得知上面8個參數后，利用上面羅列的數學計算式，將每個偏移的像素點歸位。

標定需要用到一個叫標定板的東西，有很多種類，但常用的大概就是棋盤圖了，棋盤要求精度需要很高，格子是正方形，買一張標定板很貴的，在csdn上下棋盤圖也要畫好多c幣，所以大家可以用word畫一張，很簡單的，只要做一個5列7行的表格，拉大到全頁，再設置每個格子的寬高來將它設為正方形再涂色就可以了。這張圖里有符號，但打印出來就沒有了，建議大家自己畫一張就OK了。