隨著機器視覺、VR/AR、元宇宙技術的發展，三維成像與顯示越來越受到重視。目前，三維成像的技術有很多，從諾貝爾物理獎獲得者Gabor提出的全息成像，到雙目立體視覺、結構光三維成像、激光雷達三維成像和偏振三維成像，經歷了半個多世紀。 嚴格地講，真正的三維成像只有全息成像技術，我們可以從不同角度看到物體的三維形貌，而其他所謂的三維成像應該是三維形貌重建，不能滿足大范圍、多角度的觀看。

因為已經叫習慣了，學界也慢慢“被迫”接受了這種叫法，因此，在本篇中，我們都稱之為三維成像，不再加以區分。 這些成像技術，除了雙目立體視覺和偏振成像屬于被動成像技術，不需要主動照明，其他的都是主動成像，需要特殊的主動照明方法。主動照明受制于作用距離和環境條件的限制，很多場景難以應用。被動成像具有隱蔽性好、受外界干擾小的特點，如果還能夠實現遠距離、高分辨率的成像，那無疑是最好的選擇，應用范圍更廣，具有更好的前景。

建立在幾何光學基礎上的光學成像技術，在成像過程中，將三維的空間映射到了一個平面上，自然丟失了z軸方向上的距離（深度）信息。那么，三維成像當然是要找到那個丟失的維度，這自然要付出代價。我們就來先看看尋找另一個維度的代價吧。

1

尋找另一個維度的代價

Radar（Radio Detection and Ranging），這是雷達的縮寫，最后的那個Ranging告訴我們，這個遠距離探測、成像技術可以獲得距離，因此，可以用來測距和定位，并且雷達波（微波）的遠距離傳輸特點，可以實現非常遠距離的探測。如果把微波替換成光波，由Radar變成Lidar（Light Detection and Ranging），就是我們常說的激光雷達，豈不是很好？ 當然好，只是并不一定很好，原因是激光雷達的空間分辨率還比較低，多受制于掃描機制，遠距離也難以實現，當然，遠距離受制最主要的原因是光波傳播特性跟雷達波相比太差了，而且極易受到天氣和環境因素的影響，怕雨、怕霧、怕霾，還怕云和煙塵，感覺就像患了嚴重關節炎的病人，一旦遇到了天氣變壞，就敏感地尋死覓活。 其實，影響激光雷達的還有兩個很重要的原因：一是價格太高，很多用戶用不起；二是相干探測的特點，很容易受到外界的干擾，強光就是它不共戴天的仇敵，多個同波段的激光雷達同時同地工作，結果也可想而知。

光電成像必然走向三維，盡管尋找失去的那個維度需要付出代價，但科學家從來沒有停止過。目前，三維成像的方法主要有雙目立體視覺、全息三維成像、結構光三維成像、散射三維成像和偏振三維成像等，雙目立體視覺是建立在幾何光學的基礎上的，而其他方面的模型是物理光學。下面，我們來一一分析。

雙目立體視覺

人類的雙目視覺是是天生的三維立體成像典范。人以左右眼看同一對象，由于兩眼所見角度不同，在視網膜上形成的像并不完全相同，當這兩個像經過大腦綜合以后就能區分物體的前后、遠近關系，從而產生立體視覺。注意，是經過大腦綜合后形成立體視覺，這就是說，雙目立體視覺是經過“計算”完成的，那么，在數學上，該怎么解釋？

雙目視覺是建立在幾何光學基礎上的，核心是幾何代數運算。假設雙目視覺中的左右兩個相機位于同一平面（光軸平行），且相機參數（如焦距f）一致。

理想雙目相機成像模型(y軸垂直于該平面)

y方向高度點一致

如圖所示，根據三角形相似定律：

解方程得：

根據上述推導，空間點P離相機的距離（深度）

，

可以發現如果要計算深度z，必須要知道： （1）相機焦距f，左右相機基線b。這些參數可以通過先驗信息或者相機標定得到。

（2）視差d。需要知道左相機的每個像素點()和右相機中對應點()的對應關系。 這是雙目視覺的核心數學問題，純粹的幾何光學，正是如此，雙目視覺的深度分辨率必然不會高，尤其是遠距離的情況，我們完全可以從深度的公式分析出來。

全息三維成像

全息三維成像通過將含有目標信息的物光波與無目標信息的參考光波進行干涉，得到干涉全息圖。通過對全息圖的再現，獲取物光波中攜帶的相位信息，最后通過相位與目標深度之間的關系，得到目標三維圖像。全息技術將目標相位信息通過干涉條紋記錄下來，在獲取強度信息的同時，得到物光相位信息。在全息三維成像中，物光和參考光分別表示為：

其中，為經目標物體調制后的相位項，包含了目標的三維信息。當對記錄得到的全息圖進行重建后，此時的光場復振幅分布可近似表示為：



式中第三、四項分別包含了原始物光波的復振幅分布及其共軛復振幅分布。通過在空間中對再現像和共軛像進行分離，獲取原始物光波的復振幅分布。

全息三維成像

結構光三維成像

另一種利用載波條紋實現三維成像的技術是結構光三維成像。結構光三維成像與全息技術類似，也是對條紋進行解譯。不同點是全息技術是對干涉條紋進行解譯，結構光三維成像是對經目標表面調制的投影條紋的解譯。結構光三維成像將生成的正弦條紋投影到待測目標表面，通過記錄并解調經目標表面調制后的正弦條紋，獲取目標在不同空間位置的相位分布，最后根據相位與高度之間的關系實現目標三維信息的獲取。投影到目標表面的正弦條紋可以表示為：

其中a為背景光強，b為相機拍攝條紋的調制量，?（x,y）為受物體高度調制后的相位。通過多組條紋投影，可通過聯立方程組實現相位信息的解譯。

散射三維成像

除了上述介紹的兩種方法外，利用散射介質也能夠實現目標的三維成像。由于散射介質的隨機特性，不同深度目標點間的PSF互不相同。因此，目標的三維信息通過散射介質被編碼到散斑中，通過對不同目標物形成的散斑圖進行反卷積重建就能實現三維物體在不同深度下信息的恢復，此時，目標的三維分布可以表示為：

本質上，散射三維成像技術屬于結構光三維成像，只是這個結構光具有特殊性。 三維成像的手段有很多，但被動、單相機能實現三維成像的目前只有神經網絡和偏振成像的方法，而神經網絡是一種估計、強統計方法，準確性受訓練樣本影響大，那偏振為什么能三維成像呢？本篇將從偏振度和偏振角到物體表面法線講起，剖析偏振三維成像的機理，分析影響偏振三維成像精度的因素，從原理到應用，展開深度分析。

2

偏振三維成像的原理

偏振為何能夠實現三維成像？E. Wolf教授提示我們：目標表面反射光的偏振特性與目標表面輪廓特征有直接關系，換句話說目標表面偏振度、偏振角的變化與表面形貌具有直接的映射關系（當然這是在目標材質相同條件下而言，因為不同材質的偏振度變化明顯）。

這就是說，如果能得到目標的偏振信息，建立偏振特性與表面輪廓的映射關系，就可以對目標表面進行三維重建。這個描述其實還可以更簡化：只要求解出圖像中每個像素的法向量，逐點遍歷即可重建出整個三維場景。這樣一來，那么問題就簡單了，法向量就成了偏振三維成像的關鍵。

接下來，我們按圖索驥，看看法向量怎么獲取。有兩個直接約束法向量的參量，分別是天頂角和方位角，恰好，這兩個參量與偏振度和偏振角有直接的映射關系。到這里，我們就豁然開朗了：只要有了偏振度和偏振角信息，就可以實現三維成像了，只需要建立起偏振度和偏振角信息與天頂角和方位角的映射關系。



那如何建立這種映射關系呢？ 首先看天頂角θ的含義：表征光線從目標表面“出射”時，與該點微面元的夾角。這里用“出射”這個詞，其實是包含了反射和折射兩種情況，分別對應鏡面反射面和漫反射面，也就是光滑表面和粗糙表面。對于不同表面，光波的出射情況不同，對應的菲涅爾公式求解出射角的理論也不同。具體如下式所示：

這里r，t表示反射和透射，p，s表示p光和s光。與天頂角θ的關系如下式所示：

其中，u表示像素的坐標矩陣。然后，我們來看方位角，它代表法向量在探測器平面上的投影與水平方向的夾角，也就是出射光波振動方向與水平方向的夾角。對于偏振而言，透過偏振片后強度最大的位置，就是光波振動的方向，因此通過旋轉一周偏振片找到強度最大的位置，就是我們要求的方位角。

Imax(u)和Imin(u)分別表示線性偏振濾光片在旋轉一周中的光強度最大值和最小值，(u)是探測器所接收到的光強曲線的初始相位角，是偏振片不同的旋轉角度。

這就很清楚了，只要有了天頂角和方位角信息之后，就能得到法線信息，就可以重建出三維形貌。在求解得到天頂角和方位角之后，利用下式，將目標各點的法向量進行求解，值得注意的是，因為已知量不足，這里的法向量都是歸一化后的“相對”值。



當能夠獲取到每個點的法向量信息后，其實這里就與傳統方法中獲取到的點云數據類似了，對于檢測、識別等任務已然能夠滿足要求。如果進一步需要較好的展示，以及需要利用面型進行進一步的處理，則僅需對法向量信息進行積分即可，積分的方法很多，有全局積分、局部積分等等，根據任務和目標不同可以選擇最合適的方法。

3

偏振成像系統與偏振三維成像衛星載荷

偏振成像系統

偏振光學成像系統主要分為：旋轉偏振片偏振成像系統、多孔徑偏振成像系統、分孔徑偏振成像系統、分振幅偏振成像系統和分焦平面偏振成像系統。

早期的偏振成像主要為旋轉偏振成像系統，通過旋轉偏振片在不同的角度依次獲取不同偏振狀態的圖像。這種成像系統具有結構簡單、體積小和低成本的優勢，但缺點在于實時性較差且旋轉偏振片容易震動造成誤差。

多孔徑偏振成像系統通常由多個成像光學系統及探測器構成，通常采用四個單獨的光學成像系統和獨立的探測器獲取不同方向的Stokes矢量。該成像系統具有實時成像和高分辨率的成像優勢，但其造價較高，是單一光學系統的四倍，光學元件多，裝配難度大，且存在亞像素位移時較難配準。

分孔徑成像系統由四個偏心子系統組成，通過在孔徑光闌處分別將子系統光軸與中心軸偏心將整個光學系統分成四個成像通道。這四個通道通過共用共孔徑成像組鏡頭但放置狀態不同的偏振元件以獲取Stokes四個分量圖。分孔徑成像系統重量低且能夠同時獲取不同角度的偏振圖像，但是對不同距離目標成像時需要重新配準，空間分辨率較低。



分振幅偏振成像系統

則利用分束光學器件結合成像透鏡及多個成像探測器組成多個通道獲，在每個通道中放置不同的偏振分析儀以獲取目標 Stokes 分量圖。該偏振成像系統具有高分辨和實時成像的優勢，但缺點在于光學元件多、體積大、裝配難度高和光能利用率低。



分焦平面探測器是指光電探測器和微偏振陣列的集成成像元件。微偏振陣列由幾個不同偏振角的像素化偏振器組成，以便分解入射光場，從而能夠每幀記錄前三個或四個Stokes參數。分焦平面探測器盡管相比前面所述的偏振成像系統體積更小、質量更輕，但是其制備工藝的要求極高，且往往需要額外的偏振圖像插值重建工作。偏振探測器使得偏振成像技術變得更簡單，但會降低分辨率，最主要的是消光比低，Sony的可見光偏振芯片消光比為300:1，紅外芯片更低，只有30:1，消光比低帶來的代價是偏振信息的信噪比低，這需要更好的重建算法。



上述的這些方法各有優缺點，從發展趨勢上來看，分焦平面的偏振探測器肯定會是重點，但確實還面臨著很多的問題需要解決，在以后的文章里我將詳細論述。

偏振三維成像衛星載荷

2022年8月9日12時11分，搭載“計算偏振三維成像相機”載荷的東海一號衛星成功發射，這標志著我國將首次實現星載對地目標的實時被動三維成像，同時代表著我國計算成像技術在空間領域的科學研究應用，取得重要突破！ 在現有的技術體系下，從微小衛星載荷搭載的角度上看，選擇多孔徑偏振成像系統是一種最優的方法，主要是技術成熟度高，偏振片的消光比高，獲得的偏振信息具有較高的信噪比，這對后期的三維信息重建非常有幫助，下一節將重點講述。這種方法的代價是光學系統和探測器都是4套，體積大，重量重，成本高。

由于該偏振三維成像載荷的分辨率較低，光學系統體積小，成本不太高，而由這些代價能換得更高精度的偏振信息，在應用上來講，也是值得的。 對于偏振成像而言，其實只需要3個偏振分量就可以了，所以，在本次載荷的設計中采用了0°、45°、90°三個偏振方向和無偏振的全光相機構成。下面是載荷的技術指標。

表 偏振三維載荷技術指標

4

影響偏振三維成像的因素

偏振三維成像技術具有被動式、遠距離高精度、實時性等特點，相較于其他三維成像方法在很多應用場景中具有明顯優勢，尤其是遠距離上，能夠單相機拍攝384000 km外的月球三維表面，好像只有偏振三維成像能夠做到。但是該方法在求解法向量時，結果存在兩個隨機解，它們相差180°，而只有一個是正確解。因此，如何解決這種解的奇異性問題，是目前偏振三維成像技術在實際應用中存在的最大的問題。

高精度偏振三維成像的前提當然是獲取到更高信噪比的偏振度和偏振角信息，而偏振消光比是影響偏振信息的最重要因素。 偏振消光比是沿偏振主態方向分解的兩個正交偏振分量之間的比例關系，單位是dB。100:1意味著20 dB，10000:1意味著40 dB。對于起偏器來說，消光比越高，將輸入光變為線偏振光的能力就越強。

對于光源來說，消光比越高輸出光就會越接近于線偏振光。理論上線偏光的能量完全集中于一個方向上，消光比無窮大;圓偏光的能量平均分布于兩正交方向上，消光比為0；橢圓偏振光,消光比介于0和無窮之間。由于各軸上的能量都相等，非偏振光的消光比為0。實際上，40 dB消光比已經相當高了，低偏光源的消光比一般小于0.5 dB。 我們來看兩個數據：Thorlabs公司的偏振片消光比可達10000:1，而Sony的偏振芯片只能做到300:1。

很顯然，選用旋轉偏振片這種方式可以獲得更高信噪比的偏振圖像，偏振芯片走向應用，在算法上還有很長的路要走。 接著，我們再來看看影響偏振的還有哪些因素。 環境光干擾是影響偏振三維成像的重要原因之一。自然場景下的偏振三維成像技術由于物體表面漫反射光偏振信息受自然條件下的大氣散射光、環境中鏡面反射光等復雜環境光的影響，使得混雜后的光同時進入探測器，導致目標漫反射

光的弱偏振特性無法有效分離和精確解譯。 此外，偏振三維成像方法還基于以下幾個假設： 1)相機正投影； 2)光滑(連續)物體； 3)介電(即非金屬)材料； 4)折射率已知； 5)照明由遠處的點源提供； 6)表面無相互反射； 7)目標是已知或均勻反照率； 8)光源和觀察方向不同。

無疑，在偏振三維成像發展的初級階段，這些假設條件多多少少都會影響著偏振三維成像的發展，當然，這些也是偏振三維成像走向應用面臨的挑戰，相信不久的將來，這些問題都能一一克服。

有人問：偏振三維成像的精度能達到多少？這是一個好問題。回答這個問題首先要說明：偏振三維成像獲得的表面形貌是相對值，只有知道了確切的距離信息，才能換算成絕對值，而這個確切的距離信息恰恰是被動成像所缺少的。這個距離信息一般可以由相機標定獲得，這只限于近距離，也可由雙目視覺計算獲得，當然，還可以用激光測距雷達等手段給出。

在做偏振三維人臉成像實驗中，我們對100米外的人臉進行三維重建，精度可以達到毫米級別，即量級。這里，特別需要說明的是：這種高精度的結果需要很高的空間分辨率，像素數也要足夠高。 另外，偏振三維成像不同于雙目視覺，由于只用一個相機就可以實現，不存在視差這樣的問題，因此會導致形成的三維形貌只有一個視角方向，這在有些場景會受到應用限制。解決辦法當然有：多個偏振相機組合。

5

更廣闊的應用前景

傳統的一些解決方法包括結合Kinect、光度立體視覺、陰影恢復法、數據優化擬合等，在一些特定的目標和場景下能夠得到不錯的結果。在此基礎上，我們針對遙感、室內/外等真實應用場景和目標，研究開發了無標定的多相機擬合、結合深度學習技術、自適應校正等方法，實現對更復雜的實際場景進行高精度重建。目前，已經在對地遙感、室內場景、人臉目標等場景下取得了較好的重建結果。

審核編輯：劉清