人臉識別的研究可以追溯到上個世紀六、七十年代，經過幾十年的曲折發展已日趨成熟，構建人臉識別系統需要用到一系列相關技術，包括人臉圖像采集、人臉定位、人臉識別預處理、身份確認以及身份查找等 。而人臉識別在基于內容的檢索、數字視頻處理、視頻檢測等方面有著重要的應用價值，可廣泛應用于各類監控場合，因此具有廣泛的應用前景。OpenCV是Intel 公司支持的開源計算機視覺庫。它輕量級而且高效--由一系列 C 函數和少量 C++ 類構成，實現了圖像處理和計算機視覺方面的很多通用算法，作為一個基本的計算機視覺、圖像處理和模式識別的開源項目，OpenCV 可以直接應用于很多領域，其中就包括很多可以應用于人臉識別的算法實現，是作為第二次開發的理想工具。

1 系統組成

本文的人臉識別系統在Linux 操作系統下利用QT庫來開發圖形界面，以OpenCV 圖像處理庫為基礎，利用庫中提供的相關功能函數進行各種處理：通過相機對圖像數據進行采集，人臉檢測主要是調用已訓練好的Haar 分類器來對采集的圖像進行模式匹配，檢測結果利用PCA 算法可進行人臉圖像訓練與身份識別，而人臉表情識別則利用了Camshift 跟蹤算法和Lucas–Kanade 光流算法。

2 搭建開發環境

采用德國Basler acA640-100gc 相機，PC 機上的操作系統是Fedora 10，并安裝編譯器GCC4.3，QT 4.5和OpenCV2.2 軟件工具包，為了處理視頻，編譯OpenCV 前需編譯FFmpeg，而FFmpeg 還依賴于Xvid庫和X264 庫。

3 應用系統開發

程序主要流程如圖1 所示。

圖1 程序流程（visio）

3.1 圖像采集

圖像采集模塊可以通過cvCaptureFromAVI（）從本地保存的圖像文件或cvCaptureFromCam（）從相機得到圖像，利用cvSetCaptureProperty（）可以對返回的結構進行設置：

IplImage *frame;CvCapture* cAMEra = 0;

camera = cvCaptureFromCAM（ 0 ）；

cvSetCaptureProperty（camera，

CV_CAP_PROP_FRAME_WIDTH， 320 ）；

cvSetCaptureProperty（camera，

CV_CAP_PROP_FRAME_HEIGHT， 240 ）；

然后利用start（）函數開啟QTimer 定時器，每隔一段時間發送信號調用自定義的槽函數，該槽函數用cvGrabFrame（）從視頻流中抓取一幀圖像放入緩存，再利用CvRetrieveFrame（）從內部緩存中將幀圖像讀出用于接下來的處理與顯示。在qt 中顯示之前，需將IplImage* source 轉換為QPixmap 類型。

uchar *qImageBuffer = NULL;

/*根據圖像大小分配緩沖區*/

qImageBuffer = （uchar*） malloc（source-》width *

source-》height * 4 * sizeof（uchar））；

/*將緩沖區指針拷貝到存取Qimage 的指針中*/

uchar *QImagePtr = qImageBuffer;

/* 獲取源圖像內存指針*/Const uchar*

iplImagePtr=reinterpret_cast《uchar*》（source-》imageDat

a）；

/*通過循環將源圖像數據拷貝入緩沖區內*/

for （int y = 0; y 《 source-》height; ++y）{

for （int x = 0; x 《 source-》width; ++x）{

QImagePtr［0］ = iplImagePtr［0］;

QImagePtr［1］ = iplImagePtr［1］;

QImagePtr［2］ = iplImagePtr［2］;

QImagePtr［3］ = 0;

QImagePtr += 4;

iplImagePtr += 3; }

iplImagePtr+=source-》widthStep–3*source-》width; }

/*將Qimage 轉換為Qpixmap*/QPixmap local =

QPixmap：：fromImage（QImage（qImageBuffer，source-》wi

dth，source-》height， QImage：：Format_RGB32））；

/*釋放緩沖區*/

free（qImageBuffer）；

最后利用QLabel 的setPixmap（）函數進行顯示。

3.2 圖像預處理

由于大部分的臉部檢測算法對光照，臉部大小，位置表情等非常敏感， 當檢測到臉部后需利用cvCvtcolor（）轉化為灰度圖像，利用cvEqualizeHist（）進行直方圖歸一化處理。

3.3 臉部檢測方法

OpenCV采用一種叫做Haar cascade classifier 的人臉檢測器，他利用保存在XML 文件中的數據來確定每一個局部搜索圖像的位置，先用cvLoad（）從文件中加載CvHaarClassifierCascade 變量， 然后利用cvHaarDetectObjects（）來進行檢測，函數使用針對某目標物體訓練的級聯分類器在圖像中找到包含目標物體的矩形區域，并且將這些區域作為一序列的矩形框返回，最終檢測結果保存在cvRect 變量中。

3.4 臉部識別方法

識別步驟及所需函數如圖2 所示。

圖2 識別步驟（visio）

{$PAGE$}

PCA 方法（即特征臉方法）是M.Turk 和A.Pentland在文獻中提出的，該方法的基本思想是將圖像向量經過K-L 變換后由高維向量轉換為低維向量，并形成低維線性向量空間，即特征子空間，然后將人臉投影到該低維空間，用所得到的投影系數作為識別的特征向量。識別人臉時，只需將待識別樣本的投影系數與數據庫中目標樣本集的投影系數進行比對，以確定與哪一類最近。

PCA 算法分為兩步：核心臉數據庫生成階段，即訓練階段以及識別階段。

3.4.1 訓練階段

主要需要經過如下的幾步：

（1） 需要一個訓練人臉照片集。

（2） 在訓練人臉照片集上計算特征臉，即計算特征值，保存最大特征值所對應的的M 張圖片。這M 張圖片定義了“特征臉空間”（原空間的一個子空間）。當有新的人臉添加進來時，這個特征臉可以進行更新和重新計算得到。

（3） 在“特征臉空間”上，將要識別的各個個體圖片投影到各個軸（特征臉）上，計算得到一個M 維的權重向量。簡單而言，就是計算得到各個個體所對應于M 維權重空間的坐標值。

OpenCV 實現為：先用cvLoadImage（）載入圖片并利用cvCvtcolor（）轉換為灰度圖片，建立自定義的迭代標準CvTermCriteria，調用cvCalcEigenObjects（）進行PCA 操作，計算出的Eigenface 都存放在向量組成的數組中，利用cvEigenDecomposite（）將每一個訓練圖片投影在PCA 子空間（eigenspace）上，結果保存在矩陣數組中，用cvWrite《datatype》（）將訓練結果保存至XML文件中。下面圖3 為訓練得到的部分特征臉圖像。

圖3 特征臉圖像

3.4.2 身份識別階段

在識別新的人臉圖片時，具體的操作方法流程如下：

（1） 基于前面得到的M 個特征臉，將新采集的圖片投影到各個特征臉，計算得到一個權重集合（權重向量）。

（2） 判斷新圖片是否是一幅人臉圖像，即通過判斷圖像是否足夠靠近人臉空間。

（3） 如果是人臉圖像，則根據前面計算的權重集合（權重向量），利用權重模式將這個人臉分類劃歸到初始時計算得到的各個個體或者是成為一個新 的個體照片。簡單而言，就是計算新權重到原來各個個體權重的距離，選擇最近的，認為是識別成這個個體；如果最近的距離超出閾值，則認為是一個新的個體。

（4） 更新特征臉或者是權重模式。

（5） 如果一個未知的人臉，出現了很多次，也就意味著，對這個人臉沒有記錄，那么計算它的特征權重（向量），然后將其添加到已知人臉中［6］。

OpenCV 實現調用cvRead《datatype》（）加載訓練結果XML 文件，調cvEigenDecomposite（）將采集圖片映射至PCA 子空間，利用最近距離匹配方法SquaredEuclidean Distance，計算要識別圖片同每一個訓練結果的距離，找出距離最近的即可。

3.5 臉部表情識別

臉部運動跟蹤利用了Camshift 算法，該算法利用目標的顏色直方圖模型將圖像轉換為顏色概率分布圖，初始化一個搜索窗的大小和位置，并根據上一幀得到的結果自適應調整搜索窗口的位置和大小， 從而定位出當前圖像中目標的中心位置。

Camshift 能有效解決目標變形和遮擋的問題，對系統資源要求不高，時間復雜度低，在簡單背景下能夠取得良好的跟蹤效果。

Camshift 的OpenCV 實現分以下幾步：

（1）調用cvCvtColor（）將色彩空間轉化到HSI 空間，調用cvSplit（）獲得其中的H 分量。

（2） 調用cvCreateHist（）計算H 分量的直方圖，即1D 直方圖。

（3） 調用cvCalcBackProject（）計算Back Projection.

（4） 調用cvCamShift（）輸出新的Search Window 的位置和面積。

我們利用光流算法評估了兩幀圖像的之間的變化，Lucas–Kanade 光流算法是一種兩幀差分的光流估計算法。它計算兩幀在時間t 到t +δt 之間每個每個像素點位置的移動。是基于圖像信號的泰勒級數，就是對于空間和時間坐標使用偏導數。

首先要用到shi-Tomasi 算法，該算法主要用于提取特征點，即圖中哪些是我們感興趣需要跟蹤的點，對應函數為cvGoodFeaturesToTrack（），可以自定義第一幀特征點的數目，函數將輸出所找到特征值。接下來是cvCalcOpticalFlowPyrLK 函數， 實現了金字塔中Lucas-Kanade 光流計算的稀疏迭代版本。 它根據給出的前一幀特征點坐標計算當前視頻幀上的特征點坐標。輸入參數包括跟蹤圖像的前一幀和當前幀，以及上面函數輸出的前一幀圖像特征值，自定義的迭代標準，輸出所找到的當前幀的特征值點。這些點可以確定面部局部區域的特征 如眼部，鼻子高度與寬度，嘴部兩側與底部的夾角等等，利用與前一幀的特征比較，可得出反應臉部動態變化的參數，這些數據可以與臉部的一些簡單表情相關聯。下面圖4 為跟蹤眼睛上下眨動的圖像。

圖4 跟蹤眼部上下眨動圖像

4 總結

本文以OpenCV 圖像處理庫為核心，以QT 庫所提供的界面框架為基礎，提出了人臉識別系統設計方案，實驗證明本方案具有較好的實用性，可移植性。但仍有許多不足之處，如身份與表情識別部分可以通過引入神經網絡或支持向量機SVM 進行分類，可以使識別準確率與識別種類數得到提高，這些也是后續工作中步需要改進的。