1、在檢測到人臉并定位面部關鍵特征點之后，主要的人臉區域就可以被裁剪出來，經過預處理之后，饋入后端的識別算法。識別算法要完成人臉特征的提取，并與庫存的已知人臉進行比對，完成最終的分類。我們在這方面的主要工作包括：

　　· 基于LGBP的人臉識別方法

　　問題：

　　統計學習目前已經成為人臉識別領域的主流方法，但實踐表明，基于統計學習的方法往往會存在“推廣能力弱”的問題，尤其在待識別圖像“屬性”未知的情況下，更難以確定采用什么樣的訓練圖像來訓練人臉模型。鑒于此，在對統計學習方法進行研究的同時，我們還考慮了非統計模式識別的一類方法。

　　思路：

　　對于給定的人臉圖像，LGBP方法首先將其與多個不同尺度和方向的Gabor濾波器卷積（卷積結果稱為Gabor特征圖譜）獲得多分辨率的變換圖像。然后將每個Gabor特征圖譜劃分成若干互不相交的局部空間區域，對每個區域提取局部鄰域像素的亮度變化模式，并在每個局部空間區域內提取這些變化模式的空間區域直方圖，所有Gabor特征圖譜的、所有區域的直方圖串接為一高維特征直方圖來編碼人臉圖像。并通過直方圖之間的相似度匹配技術（如直方圖交運算）來實現最終的人臉識別。在FERET四個人臉圖像測試集合上與FERET97的結果對比情況見下表。由此可見，該方法具有良好的識別性能。而且LGBP方法具有計算速度快、無需大樣本學習、推廣能力強的優點。

表.LGBP方法與FERET'97最佳結果的對比情況

　　· 基于AdaBoost的Gabor特征選擇及判別分析方法

　　問題：

　　人臉描述是人臉識別的核心問題之一，人臉識別的研究實踐表明：在人臉三維形狀信息難以準確獲取的條件下，從圖像數據中提取多方向、多尺度的Gabor特征是一種合適的選擇。使用Gabor特征進行人臉識別的典型方法包括彈性圖匹配方法（EGM）和Gabor特征判別分類法（GFC）。EGM在實用中需要解決關鍵特征點的定位問題，而且其速度也很難提高；而GFC則直接對下采樣的Gabor特征用PCA降維并進行判別分析，盡管這避免了精確定位關鍵特征點的難題，但下采樣的特征維數仍然偏高，而且簡單的下采樣策略很可能遺漏了非常多的有用特征。

　　摘要：

　　針對上述問題，我們考慮如何對Gabor特征進行有效降維，將目前受到極大關注的AdaBoost算法創新性的應用于Gabor特征的選擇上來，用于提取對識別最有利的特征（我們稱這些選擇出來的Gabor特征為AdaGabor特征），并最終通過對AdaGabor特征的判別分析實現識別（稱該方法為AGFC識別方法）。在CAS-PEAL和FERET人臉圖像庫上的對比實驗表明：AGFC方法不但可以大大降低Gabor特征的維數從而可以更加有效地避免“維數災難問題”，降低了計算復雜度，同時識別精度也有了較大的提高。將AGFC與EGM，GFC進一步比較可以看出：無論是EGM還是GFC，均是主觀的選擇若干面部關鍵特征點提取人臉的特征表示，而我們提出的AGFC方法則是通過機器學習的方法自動的選擇那些對區分不同人臉具有關鍵作用的Gabor特征。參見下圖所示三者之間的區別與聯系。

　　三種不同的人臉建模方法比較示意圖

　　· 基于SV的Kernel判別分析方法sv-KFD

　　摘要：

　　支持向量機（SVM）和Kernel Fisher分析是利用kernel方法解決線性不可分問題的兩種不同途徑，我們將二者進行了有機結合。我們首先證明了SVM最優分類面的法向量在基于支持向量的類內散度矩陣的前提下具有零空間性質，基于此定義了核化的決策邊界特征矩陣（Kernelized Decision Boundary Feature Matrix，簡寫為KDBFM），最后利用基于零空間的Kernel Fisher方法計算投影空間。我們還進一步提出了融合類均值向量差及KDBFM來構建擴展的決策邊界特征矩陣（EKDBFM）的方法，并把這兩種方法成功地應用到了人臉識別領域，在FERET和CAS-PEAL數據庫的實驗結果表明該方法比傳統人臉識別算法具有更好的識別性能。

　　· 基于特定人臉子空間的人臉識別方法

　　問題：

　　Eigenface是人臉識別領域最著名的算法之一，本質上是通過PCA來求取人臉圖像分布的線性子空間，該空間從最佳重構的角度反映了所有人臉圖像分布的共性特征，但對識別而言，這樣的特征卻未必有利于識別，識別任務需要的是最大可能區分不同人臉的特征。

　　摘要：

　　“特征臉”方法中所有人共有一個人臉子空間，而我們的方法則為每一個體人臉建立一個該個體對象所私有的人臉子空間，從而不但能夠更好的描述不同個體人臉之間的差異性，而且最大可能地擯棄了對識別不利的類內差異性和噪聲，因而比傳統的“特征臉算法”具有更好的判別能力。另外，針對每個待識別個體只有單一訓練樣本的人臉識別問題，我們提出了一種基于單一樣本生成多個訓練樣本的技術，從而使得需要多個訓練樣本的個體人臉子空間方法可以適用于單訓練樣本人臉識別問題。在Yale Face DatabaseB人臉庫對比實驗也表明我們提出的方法比傳統的特征臉方法、模板匹配方法對表情、光照、和一定范圍內的姿態變化具有更優的識別性能。

　　2、人體面貌識別技術包含三個部分：

　　（1） 人體面貌檢測

　　面貌檢測是指在動態的場景與復雜的背景中判斷是否存在面像，并分離出這種面像。一般有下列幾種方法：

　　①參考模板法

　　首先設計一個或數個標準人臉的模板，然后計算測試采集的樣品與標準模板之間的匹配程度，并通過閾值來判斷是否存在人臉；

　　②人臉規則法

　　由于人臉具有一定的結構分布特征，所謂人臉規則的方法即提取這些特征生成相應的規則以判斷測試樣品是否包含人臉；

　　③樣品學習法

　　這種方法即采用模式識別中人工神經網絡的方法，即通過對面像樣品集和非面像樣品集的學習產生分類器；

　　④膚色模型法

　　這種方法是依據面貌膚色在色彩空間中分布相對集中的規律來進行檢測。

　　⑤特征子臉法

　　這種方法是將所有面像集合視為一個面像子空間，并基于檢測樣品與其在子孔間的投影之間的距離判斷是否存在面像。

　　值得提出的是，上述5種方法在實際檢測系統中也可綜合采用。

　　（2）人體面貌跟蹤

　　面貌跟蹤是指對被檢測到的面貌進行動態目標跟蹤。具體采用基于模型的方法或基于運動與模型相結合的方法。

　　此外，利用膚色模型跟蹤也不失為一種簡單而有效的手段。

　　（3）人體面貌比對

　　面貌比對是對被檢測到的面貌像進行身份確認或在面像庫中進行目標搜索。這實際上就是說，將采樣到的面像與庫存的面像依次進行比對，并找出最佳的匹配對象。所以，面像的描述決定了面像識別的具體方法與性能。目前主要采用特征向量與面紋模板兩種描述方法：

　　①特征向量法

　　該方法是先確定眼虹膜、鼻翼、嘴角等面像五官輪廓的大小、位置、距離等屬性，然后再計算出它們的幾何特征量，而這些特征量形成一描述該面像的特征向量。

　　②面紋模板法

　　該方法是在庫中存貯若干標準面像模板或面像器官模板，在進行比對時，將采樣面像所有象素與庫中所有模板采用歸一化相關量度量進行匹配。

　　此外，還有采用模式識別的自相關網絡或特征與模板相結合的方法。

　　人體面貌識別技術的核心實際為“局部人體特征分析”和“圖形/神經識別算法。”這種算法是利用人體面部各器官及特征部位的方法。如對應幾何關系多數據形成識別參數與數據庫中所有的原始參數進行比較、判斷與確認。一般要求判斷時間低于1秒。

　　3、人體面貌的識別過程

　　一般分三步：

　　（1）首先建立人體面貌的面像檔案。即用攝像機采集單位人員的人體面貌的面像文件或取他們的照片形成面像文件，并將這些面像文件生成面紋（Faceprint）編碼貯存起來。

　　（2）獲取當前的人體面像

　　即用攝像機捕捉的當前出入人員的面像，或取照片輸入，并將當前的面像文件生成面紋編碼。

　　（3）用當前的面紋編碼與檔案庫存的比對

　　即將當前的面像的面紋編碼與檔案庫存中的面紋編碼進行檢索比對。上述的“面紋編碼”方式是根據人體面貌臉部的本質特征和開頭來工作的。這種面紋編碼可以抵抗光線、皮膚色調、面部毛發、發型、眼鏡、表情和姿態的變化，具有強大的可靠性，從而使它可以從百萬人中精確地辯認出某個人。

　　人體面貌的識別過程，利用普通的圖像處理設備就能自動、連續、實時地完成。