搞了一年人臉識別，尋思著記錄點什么，于是想寫這么個系列，介紹人臉識別的四大塊：Face detection, alignment, verification and identification(recognization)，本別代表從一張圖中識別出人臉位置，把人臉上的特征點定位，人臉校驗和人臉識別。（后兩者的區別在于，人臉校驗是要給你兩張臉問你是不是同一個人，人臉識別是給你一張臉和一個庫問你這張臉是庫里的誰。

今天先介紹第一部分和第二部分。 主要說三篇頂會文章。

人臉檢測（detection）在opencv中早就有直接能拿來用的haar分類器，基于Viola-Jones算法。但是畢竟是老掉牙的技術，Precision/Recall曲線渣到不行，在實際工程中根本沒法給boss看，作為MSRA腦殘粉，這里介紹一種MSRA在14年的最新技術：Joint Cascade Face Detection and Alignment（ECCV14)。這篇文章直接在30ms的時間里把detection和alignment都給做了，PR曲線彪到很高，時效性高，內存占用卻非常低，在一些庫上虐了Face++和Google Picasa，正好契合這篇想講的東西?？梢宰鳛楸竟澋闹骶€。

人臉校準（alignment）是給你一張臉，你給我找出我需要的特征點的位置，比如鼻子左側，鼻孔下側，瞳孔位置，上嘴唇下側等等點的位置。如果覺得還是不明白，看下圖：

圖中紅色框框就是在做detection，白色點點就是在做alignment。

如果知道了點的位置做一下位置驅動的變形，臉就成正的了，如何驅動變形不是本節的重點，在此省略。

首先介紹一下下面正文要寫的東西，由于干貨非常多所以可能會看著看著就亂了，所以給出框架圖：

?

=================================

作者建立了一個叫post classifier的分類器，方法如下：

1.樣本準備：首先作者調用opencv的Viola-Jones分類器，將recal閥值設到99%，這樣能夠盡可能地檢測出所有的臉，但是同時也會有非常多的不是臉的東東被檢測出來。于是，檢測出來的框框們被分成了兩類：是臉和不是臉。這些圖片被resize到96*96。

2.特征提取：接下來是特征提取，怎么提取呢？作者采用了三種方法：

第一種：把window劃分成6*6個小windows，分別提取SIFT特征，然后連接著36個sift特征向量成為圖像的特征。

第二種：先求出一個固定的臉的平均shape（27個特征點的位置，比如眼睛左邊，嘴唇右邊等等），然后以這27個特征點為中心提取sift特征，然后連接后作為特征。

第三種：用他們組去年的另一個成果Face Alignment at 3000 FPS via Regressing Local Binary Features (CVPR14) ，也就是圖中的3000FPS方法，回歸出每張臉的shape，然后再以每張臉自己的27個shape points為中心做sift，然后連接得到特征。

3.分類：將上述的三種特征分別扔到線性SVM中做分類，訓練出一個能分辨一張圖是不是臉的SVM模型。

緊接著作者將以上三種方法做出的分類器和初始分類器進行比對，畫了一個樣本分布的圖：

?

這個圖從左到右依次是原始級聯分類器得到的樣本分類分布和第一種到第三種方法提取的特征得到的樣本分類分布。可見做一下shape alignment可以得到一個更好的分類效果。但是問題來了：如果把所有的windows都做一下alignment，即使是3000 faces per second的速度一張圖可能也要處理上1秒，這無法滿足一般一秒30幀的實時需求。作者也說，用opencv分類器，參數設成99%的recall率將會帶來很嚴重的效率災難——一張圖能找出來3000個框，處理一張圖都要好幾秒。

這么渣的效率可咋辦呢？以上內容已經證明了alignment確實對detection的preciseness有幫助，這就夠啦，對下面的工作也是個啟發——能不能在做detection的同時把alignment做了呢？alignment的中間結果是否能給detection帶來一些幫助呢？后面慢慢講。先說兩個通用的面部檢測和矯正的模型：

1.級聯檢測分類器（bagging）：不失一般性，一個簡單的級聯分類器是這樣的：

圖中的Ci代表的是第i個弱分類器。x代表的是特征向量，f代表分類得分。每個Ci會根據自己的分類方法對x輸出一個分類結果，比如是一張臉或者不是一張臉，而fn（n=1~N)都會對應一個thresholdΘi，讓任意一個fn小于對應的Θi的時候，樣本就會被拒絕。通常不是一張臉的圖片在經過前幾個弱分類器的判斷后就會被拒絕，根本不用做后面的判斷，所以速度很快。

2.級聯回歸校準：這里介紹的是另一個人在10年發的文章：Cascaded Pose Regression (CVPR10)，給圖像一個初始shape（通常采用平均shape），然后通過一次一次的回歸把shape回歸到正確的地方。算法結構很簡單，但是效果確實非常好：

?

回歸過程如下：首先提取特征，原作者采用的是Pose-Indexed point features，然后根據特征訓練回歸函數（可以用線性回歸，CART，隨機森林等等），原作者采用了一個叫Random Fern Regressor的東西，這里翻譯成隨機蕨好了（這名字…)，回歸出這一階段的偏移量，然后shape加上這個偏移量，反復這一過程，直到迭代上限或者shape錯誤率不再下降。隨機蕨的算法過程和隨機森林類似，他是一個半樸素貝葉斯模型。首先選取M組每組K個特征建立M個蕨（弱分類器），然后假設蕨內特征是相關的，蕨間特征是獨立的，這樣從統計學上隨機蕨是一個完整的把樸素貝葉斯分類器，讓計算變得簡單：

式中C代表分類，ci代表第I類，M代表蕨數量。

綜上，這樣回歸的過程可以總結成如下形式：

S代表shape，St代表在回歸第t階段的shape，他等于上一階段的shape加上一個偏置，這個偏置就是上述回歸方法之一搞定的。比如隨機森林或者隨機蕨，或者線性回歸。

現在再說說怎么訓練得到這個回歸Rt。

有兩種思路：一種是像剛才隨機蕨那樣，每個每個蕨的葉子節點存儲一個偏移量，計算訓練的時候落入這個葉子節點的樣本偏移之平均，然后作為最終的葉子節點偏移量。其實就是在優化一個如下目標函數：

然而MSRA組在3000fps中采用的是另一種方法，形狀的偏移量ΔδS為：

目標函數是：

其實也是同樣的思路，Φ代表特征提取函數，論文中稱Φ的輸出為局部二值特征（LBF），W為線性回歸參數矩陣，其實就是把提取出來的特征映射到一個二維的偏移量上，是一個2*lenth(特征空間維數)的變換矩陣。

首先講Φ是怎么訓練的：Φ其實就是一個隨機森林。輸入像素差特征（pixel-difference features），輸出一個offest。訓練的時候隨機給每個根節點像素差特征中的一部分。非葉節點的分裂依據是從輸入的pixel-difference features中找出能夠做到最大的方差衰減的feature。在最后的葉子節點上寫上落在葉子節點上的樣本偏移量，這個偏移量在之前說到的fern里有用，但是在這里沒啥用，因為作者最后不是用這個做回歸的而是用LBF，詳細的得往下看。如果有多個樣本都落在這里，則求平均。這樣訓練出來的東西就是下面這個公式所表達的東西：

可能有讀者看到這就會不懂了，不用管這個公式，等下面的看完了就會懂了。

但是我只想要其中的Φ，于是這里給出了LBF（local binary feature）的定義，直接簡單粗暴地統計所有樹葉節點是否被該樣本落入，如果落入了就記為1否則記為0，然后把所有的01串連起來就是LBF了。還是看圖說話：

?

先看b，隨機森林的三棵樹，樣本經過三棵樹后分別落在了第1,2,3個葉子節點上，于是三棵樹的LBF就是1000,0100,0010.連接起來就是100001000010.然后看a，把27個特征點的lbf都連接起來形成總的LBF就是Φ了。

接下來是訓練w：之前已經得到了wΦ（I,S)以及Φ（I,S),現在想求w，這還不容易嗎，直接算呀。不過作者又調皮了，他說他不想求w，而是想求一個總的大W=[w1,w2,w3,…,w27].怎么求呢？得做二次回歸。至于為什么要這么做下面會介紹。目標函數：

后面加了個L2項，因為W是炒雞sparse的，防止過擬合。做線性回歸即可得到W。

現在解釋一下為啥不直接用w1w2w3…而是要再回歸出來一個W：原因有兩個：

1. 再次回歸W可以去除原先小wi葉子節點上的噪聲，因為隨機森林里的決策樹都是弱分類器嘛噪聲多多滴；

2.大W是全局回歸（之前的一個一個小w也就是一個一個特征點單獨的回歸是local回歸），全局回歸可以有效地實施一個全局形狀約束以減少局部誤差以及模糊不清的局部表現。

這樣一來，測試的時候每輸入一張圖片I，先用隨機森林Φ求出它的LBF，然后在用W乘一下就得到了下一個stage的shape，然后迭代幾次就得到了最終的shape。所以效率十分的快。

好了，兜了一大圈該回來了，剛才講的是兩個uniform的model來做detection和shape regression的。接下來該講作者是怎么邊detection邊regression shape的了！

作者建立了一個分類回歸樹，就叫CRT好了。這個CRT在距離根節點比較近的幾層偏重于分類，在接近葉子節點的幾層偏重于回歸，具體實現上，每個節點究竟用于回歸還是分類呢？用一個概率p表示用于分類的概率，自然回歸就是1-p了。而這個p隨著深數的深度減小，作者采用了一個經驗公式：

知道了CRT怎么建立，那就直接就看算法細節吧！邊測試是不是臉邊做特征點回歸的算法如下：

?

這個模型的訓練方法如下：

?

這樣就算完了嗎？不，既然要實現，就要細看一下以上用到的各類算法細節：

部分摘自其他博客，詳見參考文獻。