iPhoneX介紹

　　iPhone X屏幕上前方采用了 TrueDepth 攝像系統，雙攝像頭，其中一個為紅外攝像頭，還包含各種傳感器。如下圖所示。

　　Face ID與普通人臉識別其實就是3D人臉和2D人臉的區別。Face ID通過一個結構光系統提取人臉的點云信息生成一個3d模型，而傳統的人臉識別是通過一系列的方法，可以是簡單的基于位置的信息，也可以是通過神經網絡提取出相應的底層，在二維特征層面上進行比較。

　　Face ID之所以能生成準確的3D人臉模型，是因為用到了結構光，右邊有一個小投影儀投射帶形狀信息的紅外光斑到人臉上，左邊的攝像頭采集光斑的信息，根據形變和大小等逐一確定各個位置的深度和方向信息，最后得到人臉的點云生成3D模型。而傳統的單攝像頭方案因為沒辦法準確有效地提取深度信息，人臉識別往往只能使用2維圖像。

　　其實，3D視覺作為一項激動人心的新技術，早已經出現在微軟Kinect、英特爾RealSense等消費級產品中。近幾年，隨著硬件端技術的不斷進步，算法與軟件層面的不斷優化，3D深度視覺的精度和實用性得到大幅提升，使得“3D深度相機+手勢/人臉識別”具備了大規模進入移動智能終端的基礎。

　　要了解FaceID的人臉識別技術，讓我們先來科普一下結構光技術與原理。

　　結構光硬件組成

　　1、結構光成像一般需要發射源，發射源一般是紅外或者激光，發射出點陣或者柵格光源，投到物體表面。

　　2、結構光成像還需要接受器，接受器一般與發射源對應，能夠獲取發射源投在物體表面的光信息。

　　3、結構光成像，還需要一個硬件計算單元，把接收器接收到的信息處理成物體三維的點云信息。

　　結構光原理

　　發射源發射的均勻點陣/柵格投射到待測物表面后，由于物體的表面深度不一樣，點陣/柵格會因為不同的深度形狀產生空間形變和飛行時間差，被改變的結構光投影經攝像系統采集，傳送至硬件計算單元分析計算后可得出被測物的三維面形數據。

　　空間相位形變和光脈沖飛行時間差是結構光最常用的兩種方法：利用空間形變，獲取結構光場的相位、光強等被待測物的高度調制后產生的變化，可以讀取并計算這些性質的變化獲取待測物的面形信息；利用飛行時間差，可以記錄了光脈沖在空間的飛行時間，通過飛行時間計算待測物體的面形信息。

　　以下用知乎作者Lee Mr的一篇結構光示例來跟大家簡單說明：

　　1）第一步，編程讓發射源產生正弦條紋圖，因為后續要利用變形條紋圖獲取相位，而獲取相位的算法也有多種，此處采用的是四步移相法，具體原理去查文獻，不再累述。因此這里產生四幅相位差pi/2的條紋。然后將該四幅條紋分時投影到被測物（面具）上，采集到如下圖左邊邊的圖（當然也是四幅），同時要采集四幅參考面的條紋（未被調制，同樣四幅）。

　　2）第二步，相位恢復。由采集到的四幅受調制條紋圖計算出被調制相位，這里得到的相位圖是截斷相位圖，因為四步移相算法得到的結果是由反正切函數計算所得，因而被限制在［-pi，pi］之間，也就是說每當其值超過該范圍，其又會重新開始。得到的相位主值如下圖所示：

　　3）上述二者相減得到相位差，該相位差則表征了被測物相對參考面的高度信息，再代入相位與高度轉化公式，得到如下三維模型。

　　FaceID技術原理

　　接下來，我們來了解IphoneX的FaceID技術是怎么實現的。

　　首先我們來了解一下IphoneX齊劉海的硬件設計，包含了一個三維采集系統：紅外相機、泛光照明燈、環境光傳感器和點陣投影器。

　　點陣投影器能在不同的光照條件下將 3萬 多個肉眼不可見的光點投影在人的臉部，繪制出獨一無二的面譜，由紅外相機得到面部3D深度信息模型。再結合前置攝像頭拍攝的可見光人臉，將人臉的紋理與人臉3D模型通過算法結合，得到真實的3D人臉圖。

　　得到3D人臉圖以后，自然是通過目前最實用的深度學習算法，學習三維人臉的特征，再進行人臉識別。精度自然比平面人臉的識別精度要高。

　　FaceID技術優勢

　　1、三維人臉的深度信息，天然防止了平面的紙張、視頻等人臉攻擊手段； 2、由于其點陣投影器、泛光照明燈的特性，可以對其人臉膚色與其它材質有較好的區分性，防止了面具等攻擊手段；

　　3、由于獲取人臉三維信息主要依靠紅外技術手段，對于室內環境引起的人臉光照變化基本不敏感，可以在室內任意光環境下使用；

　　4、結構光精度可達到0.1毫米級精度，可以使人臉識別精度大大提高。 FaceID技術問題

　　1、由于紅外結構光受傳輸距離的影響比較大，衰減厲害，目前IphoneX的有效人臉識別距離應該在20cm-60cm之間；超出距離精度會大大下降；

　　2、由于太陽光包含有紅外光，可以預料，在外界陽關充足的環境下，IphoneX的人臉識別會受較大影響；

　　3、由于結構光捕獲三維信息時有一個短暫的多幀相位信息融合，對于持續移動和快速移動的人臉，識別精度會大大降低。

　　結構光人臉識別國內現狀

　　1、目前能夠把結構光整個發射、接收模組做到如IphoneX這般小，能夠集成到手機上的基本還沒有。據了解，目前能夠做到最小的也得手機充電器般大??；

　　2、從結構光的技術原理上分析，要形成一個精準的三維模型，至少需要4-5幀視頻圖像進行重建，需要保證光源發射器的頻率和攝像頭捕捉畫面頻率同步，這對于普通紅外攝像機的幀率25幀來講，至少需要200ms時間完成光源信息采集，再通過算法對其點云重建，時間較長。目前對于Iphone的技術細節無法獲取。

　　3、由于受硬件限制，目前3維人臉數據的采集難度較大，數據樣本太少，對人臉識別算法的學習和研究帶來一定難度。