描述

介紹

在本文中，我們將介紹如何使用 Python 編程語言中的 OpenCV 庫在 LattePanda 上實現(xiàn)人臉識別。

我們使用的操作系統(tǒng)是 LattePanda 上默認(rèn)的 Windows 10。

1. 軟件準(zhǔn)備

安裝 Python

首先，請從官網(wǎng)下載最新的Python。注意Python有兩個版本，一個是2.7.x版本，一個是3.x版本。2.7.x 版本是較舊的版本，將來會被棄用，所以在這個項目中我們使用 Python3，本文中的最新版本是3.6.1 。

請按照下圖安裝。

?

?

安裝 Python 時不要忘記勾選“ Add Python 3.6 to PATH ”選項，它使 Windows 系統(tǒng)能夠調(diào)用 Python 可執(zhí)行文件。

?

?

安裝后，為了測試我們是否可以在 LattePanda 上運行 Python，請按快捷鍵“Win+R”啟動命令提示符并輸入“ cmd ”。

?

?

接下來，在 cmd 中鍵入“ python ”以啟動 Python 交互會話。如果出現(xiàn)符號“ >>> ”，則表示 Python 已成功安裝并在您的操作系統(tǒng)上運行。否則，如果您看到任何錯誤消息，請檢查安裝步驟，尤其是PATH選項。

?

?

請輸入“ exit() ”命令退出此shell并返回命令提示符。

?

?

安裝所需的軟件包

現(xiàn)在，我們將使用Python 包管理器（pip）安裝這個項目的三個必要的 Python 包

1. 請在命令提示符下輸入“ pip install numpy ”安裝此Python數(shù)值計算工具。

?

?

2.接下來，輸入“ pip install opencv-python ”來安裝OpenCV，一個開源的計算機視覺庫，我們在我們的項目中使用它來識別人臉。

?

?

3、最后輸入“ pip install pyserial ”安裝Python的串口通訊工具。我們使用這個庫與 Python 和 Arduino 建立串行連接。

?

?

Thonny - Python IDE

人們可能需要一些工具來有效地編寫代碼。這是我們向您推薦的一個名為Thonny的優(yōu)秀 Python IDE 。該 IDE 集成了適合初學(xué)者的所有基本工具（調(diào)試器、python shell、變量等）。

您可以從官方網(wǎng)站下載它：.

?

?

為了讓 Thonny 使用之前安裝的 Python 包，我們需要將解釋器的默認(rèn)路徑更改為 Windows 系統(tǒng)中 Python 可執(zhí)行文件的位置。

在 thonny IDE 中，單擊工具，然后單擊選項以打開首選項窗口：

?

?

在這個窗口中，點擊interpreter選項卡，將路徑設(shè)置為默認(rèn)的Python安裝路徑，如下圖：

?

?

2.硬件

我們在這個項目中使用Logitech C270 網(wǎng)絡(luò)攝像頭（或幾乎任何其他帶有 USB 連接器的網(wǎng)絡(luò)攝像頭）來識別人臉。而要跟蹤人臉位置，我們需要一個小的旋轉(zhuǎn)平臺。如下圖所示，我們使用底部的小型伺服電機（Tower Pro MG90）來旋轉(zhuǎn)安裝在其上的相機。您可以在Thingiverse 網(wǎng)站上查看現(xiàn)成的網(wǎng)絡(luò)攝像頭/伺服支架。

請注意，伺服信號線連接到LattePanda 上的Arduino 引腳 9 。確保正確連接，棕色接地針朝外，如 LattePanda 上標(biāo)記的那樣。

?

?

三、軟件實現(xiàn)

阿杜諾素描

請啟動 Arduino IDE 并將以下代碼下載到 LattePanda 的 Arduino Leonardo 內(nèi)核（您必須指定正確的 COM 端口，通常是COM4 ）。

在這段代碼中，LattePanda 的 Arduino 芯片會從串口接收到兩條不同的指令，如果指令是“ a ”或“ b ”，則將相機 CCW 或 CW 轉(zhuǎn)動 1 度（此值可根據(jù)你的要求）。

由于我們已將伺服連接到 LattePanda Arduino D9引腳，當(dāng)然我們必須在您的 Arduino 草圖（第 9 行）中指定它。如果要將伺服切換到另一個引腳，請記住將“ s.attach(9) ”這一行中的引腳號修改為實際引腳號。伺服上限 (180) 和伺服下限 (0) 可以根據(jù)物理設(shè)置進(jìn)行修改。

//Arduino sketch
//waiting command from LattePanda (Python) to control servo
#include 
Servo s;
int degree = 90;
void setup()
{
    Serial.begin(115200);
    s.attach(9);
}
void loop()
{
    if(Serial.available())
    {
        int cmd = Serial.read();
        if(cmd == 'a')
        {
            degree++;
            if(degree >= 180)
                degree = 180;
            s.write(degree);
        }
        else if(cmd == 'b')
        {
            degree--;
            if(degree <= 0)   //lower
                degree = 0;
            s.write(degree);
        }
        else
            Serial.println("Press a/b to turn the camrea!");
    }
}

Python 腳本

我們已經(jīng)準(zhǔn)備好了 Python 庫和 IDE，現(xiàn)在讓我們完成人臉跟蹤的實現(xiàn)。

由于我們要在這個項目中檢測人臉，請從OpenCV github（https://github.com/opencv/opencv/tree/master/data/haarcascades）下載現(xiàn)有模型，我們需要兩個xml文件：

• haarcascade_frontalface_default.xml ：用于人臉檢測

• haarcascade_eye.xml ：用于眼睛檢測。

首先，我們將調(diào)用函數(shù)“ cv2.VideoCapture(0) ”從分辨率為 640x480 的相機中檢索圖像數(shù)據(jù)。接下來，我們構(gòu)建串行連接（第 9行中的COM4 ）與 Arduino 內(nèi)核通信，并使用它來控制伺服角度。

while循環(huán)中的識別功能就是簡單地將每一幀中的原始圖像轉(zhuǎn)換為灰度顏色，然后使用識別模型（face_cascade和eye_cascade）在這一幀中找到最可能的人臉。

如何確定我們想要的臉？該程序?qū)⒂嬎銏D像中有多少張臉并選擇最大的一張。

為了跟蹤人臉，程序首先計算人臉的位置（第22行中的position = x + w/2.0 ），x是標(biāo)記人臉的矩形的左上角坐標(biāo)，w是矩形的寬度.

LattePanda 得到人臉位置后，將其與圖像中心（#24~27 行）進(jìn)行比較，并發(fā)出命令旋轉(zhuǎn)相機平臺以補償差異。

注意，我們已經(jīng)指定中心線為320 （由 640/2 導(dǎo)出，640 是每個圖像幀的分辨率寬度）。所以如果你想修改分辨率或者使用另一個網(wǎng)絡(luò)攝像頭，不要忘記改變這個參數(shù)。

import cv2
import numpy as np
import serial
face_cascade = cv2.CascadeClassifier('./haarcascade_frontalface_default.xml')
eye_cascade = cv2.CascadeClassifier('./haarcascade_eye.xml')
cap = cv2.VideoCapture(0)
cap.set(3, 640)
cap.set(4, 480)
ser = serial.Serial('COM4', 115200)
while True:
    _, img = cap.read()
    gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
    faces = face_cascade.detectMultiScale(gray, 2, 5)
    if len(faces):
        (x, y, w, h) = max(faces, key=lambda face: face[2]*face[3])
        cv2.rectangle(img,(x,y),(x+w,y+h),(255,0,0),2)
        roi_gray = gray[y:y+h, x:x+w]
        roi_color = img[y:y+h, x:x+w]
        eyes = eye_cascade.detectMultiScale(roi_gray)
        for (ex,ey,ew,eh) in eyes:
            cv2.rectangle(roi_color,(ex,ey),(ex+ew,ey+eh),(0,255,0),2)
        position = x + w/2.0
        print(position)
        if position < 320:
            ser.write(b'a')
        else:
            ser.write(b'b')
        
    cv2.imshow('face', img)
    k = cv2.waitKey(5) & 0xFF
    if k == 27:
        break
cv2.destroyAllWindows()

演示視頻

檢查這個項目的性能，我們在手機上顯示一張人臉圖片，你可以看到網(wǎng)絡(luò)攝像頭會嘗試將其中心對準(zhǔn)人臉。欣賞~

?