本篇介紹EASY EAI Nano的AI人臉檢測功能，先看下測試效果：

本篇參考官方文檔：https://www.easy-eai.com/document_details/3/109

1 代碼下載

下載官方測試代碼：https://github.com/EASY-EAI/EASY-EAI-Toolkit-C-Solution.git，本篇來修改face_detect中的代碼并測試。

下載AI算法模型face_detect.model，百度網盤：https://pan.baidu.com/s/1mrhVHxHWJ8cY9Fl9k5KtYg#list/path=%2F提取碼：0k7j

總的資料百度網盤了也有算法模型：https://pan.baidu.com/s/1AjOIu77mzFM4cDA0MMVr2A#list/path=%2F，提取碼：5ttf

我先使用總的資料里下載的模型測試。

2 人臉檢測API接口介紹

主要來看下人臉檢測組件。

face_detect.h主要內容如下，包括一個det（detect）類的3個人臉檢測API函數：

class det {
public:
    det(){
landmarks.resize(5);
    }
    ~det(){
    }
?
    bool operator<(const det &t) const {
return score < t.score;
}
?
    bool operator>(const det &t) const {
return score > t.score;
}
?
    cv::Rect_ box;
    std::vector landmarks;
    float score;
?
    void print() {
printf("finalbox(x1y1x2y2) %f %f %f %f, score %fn", box.x, box.y, box.br().x, box.br().y, score);
printf("landmarks ");
int point_number = landmarks.size();
for (int i = 0; i < point_number; i++) {
printf("%f %f, ", landmarks[i].x, landmarks[i].y);
}
printf("n");
}
    
};
?
int face_detect_init(rknn_context *ctx, const char *path);
?
int face_detect_run(rknn_context ctx, cv::Mat &input_image, std::vector &result);
?
int face_detect_release(rknn_context ctx);

一些參數：

• ctx:輸入參數,rknn_context句柄
• path:輸入參數,算法模型路徑
• input_image:輸入參數, Opencv Mat格式圖像
• result：輸出參數, 人臉檢測的結果輸出

3 代碼分析與修改

官方例程使用的是雙目攝像頭中的RGB攝像頭，本篇測試修改為使用外接USB攝像頭來采集圖像，并將采集的圖像橫屏顯示。另外，在識別到人臉后，通過OpenCV函數，在屏幕左上角顯示出識別到的人臉個數。

3.1 圖像采集與顯示線程(主線程)

修改后的主程序邏輯如下：

主要代碼結構如下：

Mat algorithm_image;
pthread_mutex_t img_lock;
?
int main(int argc, char **argv)
{
//省略...
pthread_t mTid;
Result_t Result;
Mat image;
// 1.打開USB攝像頭
//省略...
// 2.創建識別線程，以及圖像互斥鎖
pthread_mutex_init(&img_lock, NULL);
Result.result.clear();
Result.face_number = 0;
CreateNormalThread(detect_thread_entry, &Result, &mTid);
// 3.顯示初始化
    //省略...
// 4.(取流 + 顯示)循環
while(1){
// 4.1、取流
pthread_mutex_lock(&img_lock);
ret = usbcamera_getframe(USB2_0, USB_DIRECT, pbuf);
if (ret) {
printf("error: %s, %dn", __func__, __LINE__);
pthread_mutex_unlock(&img_lock);
continue;
}
algorithm_image = Mat(CAMERA_HEIGHT, CAMERA_WIDTH, CV_8UC3, pbuf);
image = algorithm_image.clone();
pthread_mutex_unlock(&img_lock);
// 4.2、顯示
        cv::putText(image, std::string("detect faces: ") + std::to_string((int)Result.result.size()), 
                    cv::Point2f(30, 50), cv::FONT_HERSHEY_SIMPLEX,1.45, CV_RGB(255,0,0),3.0);
for (int i = 0; i < (int)Result.result.size(); i++)
{
// 標出人臉框
int x = (int)(Result.result[i].box.x);
int y = (int)(Result.result[i].box.y);
int w = (int)(Result.result[i].box.width);
int h = (int)(Result.result[i].box.height);
rectangle(image, Rect(x, y, w, h), Scalar(0, 255, 0), 2, 8, 0);
// 標出人臉定位標記
for (int j = 0; j < (int)Result.result[i].landmarks.size(); ++j) {
cv::circle(image, cv::Point((int)Result.result[i].landmarks[j].x, (int)Result.result[i].landmarks[j].y), 2, cv::Scalar(0, 255, 0), 3, 8);
}
}
        disp_commit(image.data, IMAGE_SIZE);

        usleep(20*1000);
}
?
//省略...
}

3.2 人臉檢測處理

人臉檢測處理序邏輯如下：

代碼如下：

// 識別線程
void *detect_thread_entry(void *para)
{
int ret;
Result_t *pResult = (Result_t *)para;

// 人臉檢測初始化
rknn_context ctx;
face_detect_init(&ctx, "face_detect.model");

Mat image;
while(1)
{
        if(algorithm_image.empty()) {
usleep(5);
            continue;
        }

pthread_mutex_lock(&img_lock);
image = algorithm_image.clone();
pthread_mutex_unlock(&img_lock);
// 算法分析
ret = face_detect_run(ctx, image, pResult->result);
pResult->face_number = pResult->result.size();
if(ret <= 0){
pResult->result.clear();
usleep(1000);
continue;
}

printf("n>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>n");
printf("face number : %dn", pResult->face_number);

        usleep(16*1000);
}
/* 人臉檢測釋放 */
face_detect_release(ctx);
return NULL;
}

4 測試

測試效果如下，可以同時檢測到多張人臉，在屏幕左上角標注有檢測到的人臉個數：

5 總結

本篇介紹了EASY EAI Nano的AI人臉檢測功能，修改官方代碼，改用外接USB攝像頭來采集圖像，并在識別到人臉后，通過OpenCV函數，在屏幕左上角顯示出識別到的人臉個數。