3D視覺測量原理知多少

要談3D視覺應用方案，就必須先弄清楚光學測量分類以及其原理。光學測量分為主動測距法和被動測距法。

主動測距方法的基本思想是利用特定的、人為控制光源和聲源對物體目標進行照射，根據物體表面的反射特性及光學、聲學特性來獲取目標的三維信息。其特點是具有較高的測距精度、抗干擾能力和實時性，具有代表性的主動測距方法有結構光法、飛行時間法、和三角測距法。

光學測距法的分類

1. 主動測距法

（1）結構光法

根據投影光束形態的不同，結構光法又可分為光點式結構光法、光條式結構光法和光面式結構光法等。

三種結構光法測量的原理圖

目前應用中較廣，且在深度測量中具有明顯優勢的方法是面結構光測量法。面結構光測量將各種模式的面結構投影到被測物體上，例如將分布較密集的均勻光柵投影到被測物體上面，由于被測物體表面凹凸不平，具有不同的深度，所以表面反射回來的光柵條紋會隨著表面不同的深度發生畸變，這個過程可以看作是由物體表面的深度信息對光柵的條紋進行調制。所以被測物體的表面信息也就被調制在反射回來的光柵之中。通過被測物體反射回來的光柵與參考光柵之間的幾何關系，分析得到每一個被測點之間的高度差和深度信息。

結構光的優點是計算簡單，測量精度較高，對于平坦的、無明顯紋理和形狀變化的表面區域都可進行精密的測量。其缺點是對設備和外界光線要求高，造價昂貴。目前，結構光法主要應用在條件良好的室內。

（2）飛行時間法（ToF）

飛行時間（Time of Flight，簡稱ToF）法，又叫做激光雷達（LiDAR）測距法。它將脈沖激光信號投射到物體表面，反射信號沿幾乎相同路徑反向傳至接收器，利用發射和接收脈沖激光信號的時間差可實現被測量表面每個像素的距離測量。

飛行時間（ToF）深度測量法的原理示意圖

ToF直接利用光傳播特性，不需要進行灰度圖像的獲取與分析，因此距離的獲取不受物體表面性質的影響，可快速準確地獲取景物表面完整的三維信息。缺點則是需要較復雜的光電設備，價格偏貴。

（3）三角測距法

三角測距法又稱主動三角法，是基于光學三角原理，根據光源、物體和檢測器三者之間的幾何成像關系來確定空間物體各點的三維坐標。在實際測量過程中，它常用激光作為光源，用CCD相機作為檢測器。這種方式主要用于工業勘探、工件表面粗糙度檢測、輪胎檢測、飛機檢測等工業、航空、軍事領域，在消費電子類產品還不曾涉及。

基于激光三角法測量系統簡圖

2. 被動測距法

被動測距技術不需要人為地設置輻射源，只利用場景在自然光照下的二維圖像來重建景物的三維信息，具有適應性強、實現手段靈活、造價低的優點。但是這種方法是用低維信號來計算高維信號的，所以其使用的算法復雜。被動測距按照使用的視覺傳感器數量可分為單目視覺、雙目立體視覺和多目視覺三大類。

（1）單目視覺

單目視覺是指僅利用一臺照相機拍攝一張相片來進行測量。因僅需要一臺相機，所以該方法的優點是結構簡單、相機標定容易，同時還避免了立體視覺的小視場問題和匹配困難問題。

單目視覺測量示意圖

單目視覺方法又可分聚焦法和離焦法兩類。聚焦法是指首先使相機相對于被測點處于聚焦位置，然后根據透鏡成像公式求得被測點相對于相機的距離。相機偏離聚焦位置會帶來測量誤差，因此尋求精確的聚焦位置是關鍵所在。而離焦法不要求相機相對于被測點處于聚焦位置，而是根據標定出的離焦模型計算被測點相對于相機的距離，這樣就避免了由于尋求精確的聚焦位置而降低測量效率的問題，但離焦模型的準確標定是該方法的主要難點。

（2）雙目立體視覺

雙目立體視覺的基本原理是從兩個視點觀察同一景物，以獲取在不同視角下的感知圖像，然后通過三角測量原理計算圖像像素間的位置偏差（視差）來獲取景物的三維信息。這一過程與人類視覺感知過程是類似的。

雙目立體視覺測量示意圖

在雙目立體視覺系統的硬件結構中，通常采用兩個攝像機作為視覺信號的采集設備，通過雙輸入通道圖像采集卡與計算機連接，把攝像機采集到的模擬信號經過采樣、濾波、強化、模數轉換，最終向計算機提供圖像數據。一個完整的雙目立體視覺系統通?？煞譃閿底謭D像采集、相機標定、圖像預處理與特征提取、圖像校正、立體匹配、三維重建六大部分。

（3）多目立體視覺

多目立體視覺系統是對雙目視覺系統的一種拓展。所謂多目立體視覺系統，就是采用多個攝像機設置于多個視點，或者由一個攝像機從多個視點觀測三維景物的視覺系統。

多目視覺測量示意圖

對多目系統所采集到的景物圖像進行感知、識別和理解的技術被稱為多目立體視覺系統技術。在雙目立體視覺中，對于給定的物體距離，視差與基線長度成正比，基線越長，對距離的計算越精確。但是當基線過長時，需要在相對較大的視覺范圍內進行搜索，從而增加計算量。利用多基線立體匹配是消除誤匹配、提高視差測量準確性的有效方法之?；€數目的增加可以通過增加相機來實現。

一張表看懂3D視覺應用案列

目前市場上的3D視覺采用的應用方案原理主要有三種：結構光法、ToF法和多目（雙目）立體視覺法。就其優缺點，應用領域和實際案例，下面一張圖則做了總體的概括。

一張表看懂3D視覺應用方案優缺點及案例

一張圖展示國內外3D視覺應用方案主要玩家

在3D視覺應用方案領域三大原理的提供商分別有：

多目（雙目）立體視覺法提供商：國外（英特爾、微軟，Leapmotion）；國內（圖漾科技、縱目科技、凌云光技術、西緯科技和弼智仿生）。

結構光法提供商：國外（英特爾，谷歌）；國內（圖漾科技、奧比中光和華捷艾米）。

飛行時間法提供商：國外（微軟、谷歌、英飛凌、德州儀器、意法半導體），國內（?？低?、舜宇光學和樂行天下）。

一張圖展示國內外3D視覺應用方案主要玩家

攝像頭模組——智能手機的兵家必爭之地

最近三年間，每部智能手機的攝像頭模組成本從15美元上升到近25美元，不少手機的配置數量也從1顆增至3顆。智能手機的各大巨頭，如蘋果、三星、華為、OPPO、VIVO、小米、LG等的旗艦機采取了差異化的攝像頭戰略。隨著人們在微信朋友圈、Facebook和Snapchat等社交網站上PO圖的熱情高漲，對照片的要求也越來越高，一款能突出主體、色彩艷麗又能增加顏值的智能手機對消費者的吸引力是巨大的，攝像頭成了智能手機廠商爭奪市場的一把利器。

每部智能手機攝像頭數量的發展趨勢

智能手機在攝像頭模組上可謂費盡心思，后置攝像頭、前置攝像頭，增加像素，加大鏡頭和感光元件，這些還不夠。雙攝像頭的方案逐漸成為主打方案：主攝像頭+輔助攝像頭，做到類似單反的背景虛化效果；長焦+廣角鏡頭方案，光學變焦的雙攝像頭模組；RGB+Mono方案，也就是彩色攝像頭+黑白攝像頭的方案，提高夜拍效果，提亮降噪。從后置雙攝像頭到前置前置雙攝像頭，輸出的照片焦內更加銳麗清晰，而虛化部分也更加真實。

從本質上講，雙攝像頭是一個過渡產品，因為沒有深度信息，只能依靠算法進行測算，對于拍照或許能滿足攝像愛好者的初級要求，但是對于識別跟蹤和智能化增強處理方面，還是需要深度攝像頭的幫助才能做到完美。

那么，繼雙攝像頭時代的下個時代會是什么呢？麥姆斯咨詢認為，3D成像和傳感技術已經在高端市場的“庇護”下逐漸成熟，并在醫療類和工業類領域取得了巨大的成功。2016年，3D成像和傳感器件開始出現明顯的商業拓展，市場規模超過13億美元。未來兩年，我們很可能看到以智能手機和電腦為首的大量采用3D成像感知設備的消費類產品涌入，iPhone8極有可能采用前置3D攝像頭。蘋果這座“風向標”對3D攝像頭的應用，極有可能將引發“類似指紋傳感器在消費類電子上井噴式爆發”的場景再次出現，3D攝像頭最終將成為生物識別和臉部識別的主流配置。

3D攝像頭模組結構

3D攝像頭模組拆解后，其主要硬件包括：紅外光發射器（IR LED或VCSEL）、紅外光圖像傳感器（IR CIS或者其他光電二極管）和可見光圖像傳感器（Vis CIS）、圖像處理芯片、濾光片或鏡頭。此外，室外工作的飛行時間（ToF）方案需要窄帶濾光片；結構光方案需要發射端光學棱鏡與DOE光柵；雙目立體成像方案采用兩顆紅外光攝像頭或兩顆可見光攝像頭。

典型的3D攝像頭模組結構

基于ToF方案的3D視覺系統的工作原理為：首先紅外激光發射器發射出近紅外光，經過人手或人臉的反射之后，紅外信息（IR Light）被紅外光圖像傳感器所接收，這個圖像信息用來計算人手所處的位置（Z軸）；同時，可見光圖像傳感器采集二維平面（X與Y軸）的人手的可見光信息（Vis Light）；圖像傳感器的信息匯總至專用的圖像處理芯片，從而得到人手或人臉的三維數據，實現空間定位。

基于ToF方案的3D視覺系統工作原理

從硬件方面講，3D攝像頭模組與普通二維攝像頭模組的差異在于紅外光發射器的選擇上，采用垂直腔面發射激光器VCSEL取代傳統的紅外LED。VCSEL的優勢是驅動電壓和電流小、功耗低、光源可調變頻率更高（可達數GHz），與化合物半導體工藝兼容，適合大規模集成制造。傳言iPhone8的3D攝像頭將采用VCSEL+ToF方案，有望將VCSEL帶入消費電子藍海。VCSEL的相關知識在后續的報道中我們會專門做詳細講解。

3D攝像頭模組的“春天”真的來了嗎？

據Yole報告《3D成像和傳感-2017版》，預計3D成像和傳感器件市場的復合年增長率為37.7%，2022年將達到90億美元。如此爆發性的增長讓人不禁想起指紋傳感器，2013年蘋果公司發布了采用指紋識別傳感器的iPhone 5S，由此引爆了指紋識別傳感器市場，三年間市場規模從幾乎為零飆升到幾十億美元。故事的開始驚人的相似，主角都是蘋果公司，劇情是否會重演？

2011~2022年3D成像和傳感器件市場預測

各大公司在3D視覺布局已久，但是一直未出現大規模應用，硬件是制約因素，算法的復雜性和未找到合適的應用場景則是主要原因。從硬件方面講，單光子雪崩二極管（SPAD）、VCSEL、MEMS掃描鏡、近紅外圖像傳感器等技術工藝復雜，國內有能力量產的企業簡直是鳳毛麟角；3D攝像頭模組的工藝流程也較雙攝像頭模組復雜許多，國內的丘鈦科技已有量產的案例。在算法端，3D深度攝像頭要求模組廠和算法進行有效配合。3D更偏向于深度攝像技術，它對算法提出的要求更高，它不再滿足雙攝機械式AA制程。沒有合適的應用場景則是導致3D攝像技術一直處于不溫不火局面的原因?，F在，我們期待蘋果（Apple）公司能夠邁出重要一步，推動3D成像和傳感產業發展。生物識別和臉部識別將成為3D成像和傳感技術的主要應用，增強現實（AR）則是另一個重要應用。未來幾年，消費類產品對3D攝像頭的采用，則是推動該市場的強勁動力！

3D視覺系統的“最強大腦”

圖像信號處理器（Image Signal Processor，以下簡稱ISP），是一種專用數字集成電路，對從CMOS圖像傳感器中輸出的圖像數據進行處理，得到經過復原、增強后的數字圖像，使其更加接近現實中人眼所看到的圖像。

ISP是一款“軟硬皆施”的芯片，需要配合專業算法處理傳感器數據，如線性糾正、噪點去除、壞點修補、顏色插值、白平衡校正、曝光校正等。通常，圖像數據從前端感知后，均須經過ASP（Analog Signal Processing）、ADC（Analog-Digital Converter）、前期影像處理（Pre-ISP）與后端影像處理（Post-ISP）四個階段后，“完美”的圖像才能最終呈現于終端設備上。

成像框圖

對于3D視覺系統來講，如果說圖像傳感器好比“眼睛”，那么ISP則是它的“大腦”。ISP主要作用如下：

1．拜耳轉換

圖像傳感器中的光電二極管本質上是“色盲”，它們只能記錄不同的灰度信息。之所以能呈現出彩色圖片，那是因為不同的紅、綠、藍三種顏色濾鏡——拜耳濾鏡將灰度信息轉換成彩色信息。由于每個光電二極管只記錄圖像的一個像素的顏色信息，像素點只可能有三種顏色：紅、綠、藍，或者什么也沒有（黑）。不同顏色的濾光點的排列是有規律的：每個綠點的四周，分布著2個紅點、2個藍點、4個綠點。這意味著，整體上，綠點的數量是其他兩種顏色點的兩倍。這是因為研究顯示人眼對綠色最敏感，所以濾光層的綠點最多。然而，拜耳轉換過程相當復雜，涉及到許多不同的操作。成像質量在很大程度上取決于對圖像傳感器輸出原始數據處理的算法優劣。

拜耳陣列

2．去馬賽克

如上所述，圖像處理器對顏色和亮度的賦予像素數據，比較它們與相鄰像素的數據，然后采用插值算法計算出這個像素的顏色和亮度值。ISP對整個圖片評估，猜測對比度的正確分布。通過調整伽瑪值（提高或降低圖像的中間色調的對比度范圍）進行色彩微調，如人體的皮膚和藍色的天空，使整個畫面與現實更為接近。

3．降噪

噪聲在任何電子線路普遍存在。在數碼攝影中，一幅流暢的彩色畫面出現的明顯突兀的色彩隨機斑點被視為噪聲。噪聲隨著溫度和曝光時間的增加而增多。當選擇較高的ISO設置時，圖像傳感器中的電子信號被放大，同時增加噪聲電平，從而導致較低的信噪比。ISP從圖像信息中分離噪聲并去除它。但面臨的相當大的挑戰是圖像中正常區域可能會被誤認為是噪聲，導致畫面受損。

4．圖像銳化

當每個像素的顏色和亮度值被插值時，圖像平滑會使圖像的邊界、輪廓變得模糊。為了增強圖像的灰度跳變，保持清晰度和細節完整性，圖像處理器必須銳化邊緣和輪廓。因此，它必須正確檢測邊緣，并順利地復制它們，而不過分銳化。

難以跨越的技術鴻溝

ISP技術壁壘高，要求專業算法層面的深層配合，兩者相輔相成，互為補充。ISP雖然可以對樣張的質量進行后期處理，但不同的芯片或者使用同一款芯片的不同產品在拍攝性能方面也存在明顯的差異，這是因為ISP不僅僅有處理能力，還具有可編程性，經過不同方式調試后的新算法會和集成原廠算法拉開差距。

市面上絕大多數手機都集成了ISP芯片，部分產品則采用了獨立的ISP芯片，除了富士通為不少知名機型提供了獨立ISP之外，像蘋果這樣的廠商都是自己定制專屬于iPhone的ISP。高通驍龍820集成了Spectra ISP、聯發科的Helio P25內置12位雙ISP支持，都融合了自家最前沿的ISP。但研發難度相當大，財力消耗大，只有智能手機巨頭才有能力建立自己的ISP和專業的算法團隊。而國內的華為也投入9800萬美金組建頂尖的專業團隊，自主開發并由海思半導體制造Hi3516首次搭載在華為Mate 8，開啟宣告國產手機突出重圍。

高通的Spectra ISP擁有雙ISP

iPhone專屬定制的ISP

就芯片集成方式而言，將圖像傳感器和ISP通過封裝集成于一顆模組可以有效降低成本，而業界領頭羊索尼已經將圖像傳感器和ISP直接集成于一顆芯片。2017年，索尼推出的CMOS圖像傳感器IMX400采用三層堆疊式結構：頂層為CIS，中間層為DRAM，底層則是ISP。全新的三層芯片能夠在1/120秒內讀取1930萬像素圖片，是IMX318芯片的4倍。這減少了讀取每個像素行的時間間隔。這對于缺乏機械快門來控制曝光的智能手機尤其重要。

索尼CMOS圖像傳感器芯片IMX400的三層堆疊結構

目前全球范圍內主要被歐洲和日本巨頭所壟斷，如意法半導體、德州儀器、英飛凌、恩智浦、安霸、索尼、東芝、富士通等。而在國內，北京君正、全志科技和瑞芯微借助前幾年平板電腦的爆發期也獲得快速成長，此外還有一些新興的創業型公司，如興芯微。

應用：始于工業，盛于消費電子，走向人工智能

ISP的應用領域涉及消費電子、工業、安防、汽車、無人機、機器人等。其中，智能手機是目前ISP的主要應用領域。近幾年智能手機廠商都在打攝像頭的牌，通過不斷改善拍照質量來吸引消費者的眼球。但是，沒有ISP與圖像傳感器、鏡頭等硬件的高度協同，不論是前置還是后置的雙攝像頭都僅僅是攝像頭性能參數的堆砌和噱頭。

當前，人工智能已經延伸至ISP領域。這點蘋果應當是布局已久，陸續收購了四家機器學習公司，而機器學習正是人工智能的核心所在。iPhone 7 使用的新款ISP處理能力比之前版本了提高一倍，它可以通過特定的算法獲取拍攝對象的更多信息，并據此對成像進行深度處理。在人工智能的驅動下，通過機器學習技術檢測到目標、設置曝光、焦距和白平衡。蘋果營銷總監Phil Schiller表示，這種通過人工智能驅動的ISP能夠在25毫秒中進行最多1000億次的操作，比原先快了60%。谷歌和微軟也在不斷渲染自己在人工智能上的技術儲備，三大IT巨頭相繼發力，可以預見，人工智能扮演的角色將越來越重要，相信更加智能的ISP已經在路上。