Dlib是一個(gè)深度學(xué)習(xí)開(kāi)源工具，基于C++開(kāi)發(fā)，也支持Python開(kāi)發(fā)接口，功能類似于TensorFlow與PyTorch。但是由于Dlib對(duì)于人臉特征提取支持很好，有很多訓(xùn)練好的人臉特征提取模型供開(kāi)發(fā)者使用，所以Dlib人臉識(shí)別開(kāi)發(fā)很適合做人臉項(xiàng)目開(kāi)發(fā)。

上面所說(shuō)的人臉識(shí)別開(kāi)發(fā)，主要是指人臉驗(yàn)證，就是輸入兩張人臉照片，系統(tǒng)會(huì)對(duì)比輸出0或者1，代表判斷是否是同一個(gè)人。一般的人臉識(shí)別開(kāi)發(fā)可以簡(jiǎn)單分為1.人臉特征建模與2.使用人臉特征模型進(jìn)行驗(yàn)證（其實(shí)還應(yīng)包括人臉對(duì)齊等，這些也可以劃分到1中）。使用Dlib進(jìn)行開(kāi)發(fā)時(shí)，我們直接可以使用訓(xùn)練好的人臉特征提取模型，主要的工作就變成了如何進(jìn)行人臉的驗(yàn)證。

人臉的驗(yàn)證其實(shí)就是計(jì)算相似度，同一個(gè)人的相似度就會(huì)大，不同的人就會(huì)比較小。可以采用余弦相似度或者歐式距離來(lái)計(jì)算相似度。其中余弦相似度就是計(jì)算角度，歐式距離就是指平方差。都可以用來(lái)表示兩個(gè)特征的相似度（距離）。

2.環(huán)境搭建

安裝可以參考我的這篇博客：［深度學(xué)習(xí)工具］·極簡(jiǎn)安裝Dlib人臉識(shí)別庫(kù)，下面說(shuō)一下需要注意的點(diǎn)：：

此博文針對(duì)Windows10安裝，其他平臺(tái)可以仿照這個(gè)步驟來(lái)安裝

安裝Miniconda

使用conda指令來(lái)安裝Dlib庫(kù)，使用Miniconda與Anaconda都可以，我習(xí)慣用Miniconda，簡(jiǎn)單占用內(nèi)存小。

推薦使用清華源，下載安裝，選擇合適的平臺(tái)版本。python==3.6

安裝dlib

注意一定要以管理員身份進(jìn)入CMD，執(zhí)行（如果是Linux Mac 就使用 sudo）

conda install -c conda-forge dlib

需要imageio 庫(kù)，可以使用下述命令安裝

conda install imageio

3.開(kāi)發(fā)實(shí)戰(zhàn)

1.實(shí)現(xiàn)人臉檢測(cè)標(biāo)記

face_test.pyimport dlibfrom imageio import imreadimport globdetector = dlib.get_frontal_face_detector（）win = dlib.image_window（）path = “f1.jpg”img = imread（path）dets = detector（img）print（‘檢測(cè)到了 %d 個(gè)人臉’ % len（dets））for i， d in enumerate（dets）：print（‘- %d：Left %d Top %d Right %d Bottom %d’ % （i， d.left（）， d.top（）， d.right（）， d.bottom（）））win.clear_overlay（）win.set_image（img）win.add_overlay（dets）dlib.hit_enter_to_continue（）

代碼很簡(jiǎn)單，通過(guò)imread讀取照片，然后進(jìn)行檢測(cè)，輸出結(jié)果為dets的list，有幾張人臉就會(huì)有幾個(gè)item， 每個(gè)item都有.left（）， .top（）， .right（）， .bottom（）四個(gè)元素，代表人臉框的四個(gè)邊界位置。最后通過(guò)win.add_overlay（dets）可以將標(biāo)記的框顯示在原圖上。

原始照片

輸出照片

其實(shí)我們就可以使用這個(gè)功能做一個(gè)簡(jiǎn)單的應(yīng)用，用來(lái)檢測(cè)圖片或者視頻中人臉的個(gè)數(shù)。

2.人臉特征點(diǎn)提取

在實(shí)戰(zhàn)1的基礎(chǔ)上添加人臉特征提取功能。

import dlibfrom imageio import imreadimport globdetector = dlib.get_frontal_face_detector（）win = dlib.image_window（）predictor_path = ‘shape_predictor_68_face_landmarks.dat’predictor = dlib.shape_predictor（predictor_path）path = “f2.jpg”img = imread（path）dets = detector（img）print（‘檢測(cè)到了 %d 個(gè)人臉’ % len（dets））for i， d in enumerate（dets）：print（‘- %d： Left %d Top %d Right %d Bottom %d’ % （i， d.left（）， d.top（）， d.right（）， d.bottom（）））shape = predictor（img， d） # 第 0 個(gè)點(diǎn)和第 1 個(gè)點(diǎn)的坐標(biāo)print（‘Part 0： {}， Part 1： {}’.format（shape.part（0）， shape.part（1）））win.clear_overlay（）win.set_image（img）win.add_overlay（dets）win.add_overlay（shape）dlib.hit_enter_to_continue（）

這段代碼就是在test.py基礎(chǔ)上加入了shape_predictor功能，使之可以在檢測(cè)出人臉基礎(chǔ)上，找到人臉的68個(gè)特征點(diǎn)。反映在圖中就是藍(lán)色的線。

原始圖片

輸出圖片

注意運(yùn)行這段代碼需要這個(gè)文件predictor_path = ‘shape_predictor_68_face_landmarks.dat’，我會(huì)放在我的github中，方便大家下載使用。

3.人臉識(shí)別驗(yàn)證

在第二步的基礎(chǔ)上，我們?cè)龠M(jìn)一步，實(shí)現(xiàn)將人臉提取為特征向量，從而我們就可以對(duì)特征向量進(jìn)行比對(duì)來(lái)實(shí)現(xiàn)人臉的驗(yàn)證，這里采用的是對(duì)比歐式距離的方法。

face_recognition.pyimport dlibfrom imageio import imreadimport globimport numpy as npdetector = dlib.get_frontal_face_detector（）predictor_path = ‘shape_predictor_68_face_landmarks.dat’predictor = dlib.shape_predictor（predictor_path）face_rec_model_path = ‘dlib_face_recognition_resnet_model_v1.dat’facerec = dlib.face_recognition_model_v1（face_rec_model_path）def get_feature（path）：img = imread（path）dets = detector（img）print（‘檢測(cè)到了 %d 個(gè)人臉’ % len（dets））# 這里假設(shè)每張圖只有一個(gè)人臉shape = predictor（img， dets［0］）face_vector = facerec.compute_face_descriptor（img， shape）return（face_vector）def distance（a，b）：a，b = np.array（a）， np.array（b）sub = np.sum（（a-b）**2）add = （np.sum（a**2）+np.sum（b**2））/2.return sub/addpath_lists1 = ［“f1.jpg”，“f2.jpg”］path_lists2 = ［“趙麗穎照片.jpg”，“趙麗穎測(cè)試.jpg”］feature_lists1 = ［get_feature（path） for path in path_lists1］feature_lists2 = ［get_feature（path） for path in path_lists2］print（“feature 1 shape”，feature_lists1［0］.shape）out1 = distance（feature_lists1［0］，feature_lists1［1］）out2 = distance（feature_lists2［0］，feature_lists2［1］）print（“diff distance is”，out1）print（“same distance is”，out2）out1 = distance（feature_lists1［0］，feature_lists1［1］）out2 = distance（feature_lists2［0］，feature_lists2［1］）

輸出結(jié)果

檢測(cè)到了 1 個(gè)人臉檢測(cè)到了 1 個(gè)人臉檢測(cè)到了 1 個(gè)人臉檢測(cè)到了 1 個(gè)人臉feature 1 shape （128， 1）diff distance is 0.254767715912same distance is 0.0620976363391

我們可以看出，每張人臉都被提取為了128維的向量，我們可以理解為128維的坐標(biāo)（xyz是三維，128維就是有128個(gè)軸組成），我們下面需要做的就是計(jì)算兩個(gè)特征的距離，設(shè)定好合適的閾值，小于這個(gè)閾值則識(shí)別為同一個(gè)人。代碼正確運(yùn)行需要這個(gè)文件face_rec_model_path = ‘dlib_face_recognition_resnet_model_v1.dat’，我已經(jīng)放在自己的github（https://github.com/xiaosongshine/dlib_face_recognition）中，方便大家使用。

我們從上面測(cè)試的結(jié)果可以看出，不同的距離為0.25，同一個(gè)人為0.06，閾值就可以先設(shè)置為其間的一個(gè)值。我這里先設(shè)置為0.09，這個(gè)閾值也是需要大量數(shù)據(jù)來(lái)計(jì)算的，選擇的準(zhǔn)則為使錯(cuò)誤識(shí)別為最低。

下面我們把閾值設(shè)置為0.09，來(lái)測(cè)試系統(tǒng)能否區(qū)分出不同的人：在face_recognition.py加入下面代碼

def classifier（a，b，t = 0.09）：if（distance（a，b）《=t）： ret = Trueelse ： ret = Falsereturn（ret）print（“f1 is 趙麗穎”，classifier（feature_lists1［0］，feature_lists2［1］））print（“f2 is 趙麗穎”，classifier（feature_lists1［1］，feature_lists2［1］））print（“趙麗穎照片.jpg is 趙麗穎測(cè)試.jpg”，classifier（feature_lists2［0］，feature_lists2［1］））

輸出結(jié)果

f1 is 趙麗穎 Falsef2 is 趙麗穎 False趙麗穎照片.jpg is 趙麗穎測(cè)試.jpg True

從上面可以看出，已基本滿足對(duì)人臉區(qū)分的功能，如果如要實(shí)用化則需要繼續(xù)調(diào)優(yōu)閾值與代碼，調(diào)優(yōu)的準(zhǔn)則就是選擇合適的閾值使錯(cuò)誤識(shí)別為最低。