衡量消費(fèi)者情緒是產(chǎn)品、服務(wù)等反饋的重要組成部分。近年來(lái)，情緒分析（也稱(chēng)為意見(jiàn)挖掘）已被證明是提供消費(fèi)者反饋的有用工具。情感分析在社交媒體環(huán)境中使用文本分析和自然語(yǔ)言處理。情緒分析的基本思想是根據(jù)某種形式的交流（例如推文或網(wǎng)站評(píng)論）捕捉消費(fèi)者對(duì)某個(gè)主題的看法。

情緒分析的一種演變是被動(dòng)地檢測(cè)路過(guò)貨架并查看產(chǎn)品的消費(fèi)者的情緒。這種類(lèi)型的情緒分析不僅可以捕獲有關(guān)消費(fèi)者對(duì)產(chǎn)品意見(jiàn)的統(tǒng)計(jì)數(shù)據(jù)，還可以進(jìn)行直接交互——例如，如果銷(xiāo)售人員表示有興趣，則通知他們。在此博客中，我們將探討如何使用英特爾? OpenVINO ?工具包的購(gòu)物者情緒應(yīng)用程序，根據(jù)輸入的面部表情視頻自動(dòng)推斷購(gòu)物者在零售店展示時(shí)的情緒。

購(gòu)物者情緒數(shù)據(jù)管道

圖 1顯示了 Shopper Mood 應(yīng)用程序的管道。讓我們仔細(xì)看看這個(gè)深度學(xué)習(xí)應(yīng)用程序中發(fā)生了什么。

圖 1：購(gòu)物者情緒推斷管道圖說(shuō)明了 OpenVINO? 工具包的此應(yīng)用程序如何處理捕獲的圖像以識(shí)別在購(gòu)物者臉上檢測(cè)到的情緒。（來(lái)源：作者）

該過(guò)程首先從安裝在零售貨架上的攝像機(jī)捕捉圖像。接下來(lái)，捕獲的圖像被傳遞到兩個(gè)深度神經(jīng)網(wǎng)絡(luò)中的第一個(gè)（基于卷積神經(jīng)網(wǎng)絡(luò)或 CNN）。CNN 是最流行的深度學(xué)習(xí)網(wǎng)絡(luò)架構(gòu)之一，旨在處理圖像。它們由大量層組成，這些層在前端處理圖像的小窗口，在后端產(chǎn)生一個(gè)或多個(gè)分類(lèi)分?jǐn)?shù)。第一個(gè) CNN 確定是否可以在捕獲的圖像中檢測(cè)到人臉。如果第一個(gè)網(wǎng)絡(luò)發(fā)現(xiàn)的人臉超過(guò)可配置的概率閾值，則每張人臉都被歸類(lèi)為“購(gòu)物者”并傳遞給第二個(gè)網(wǎng)絡(luò)。第二個(gè)網(wǎng)絡(luò)使用以下五個(gè)類(lèi)別之一來(lái)識(shí)別臉上顯示的情緒類(lèi)型：

快樂(lè)的

傷心

吃驚

生氣的

中性的

如果 CNN 無(wú)法確定檢測(cè)到的面部的情緒（高于可配置的閾值），則它會(huì)被簡(jiǎn)單地標(biāo)記為“未知”。您可以在圖 2中看到疊加在原始圖像上的處理結(jié)果。

圖 2：Shopper Mood Monitor 輸出屏幕顯示了疊加在原始捕獲圖像上的 Shopper Mood Inference Pipeline 結(jié)果示例。（來(lái)源：英特爾）

從圖 2 中可以看出，檢測(cè)圖像中的人臉?biāo)钑r(shí)間為 136 毫秒，情感分析耗時(shí) 13 毫秒。這種快速的處理時(shí)間使得在需要立即響應(yīng)的情況下實(shí)時(shí)進(jìn)行這種分析成為可能——例如通知銷(xiāo)售人員協(xié)助購(gòu)物者。

示例應(yīng)用程序還可用于非實(shí)時(shí)統(tǒng)計(jì)，可選擇通過(guò)消息隊(duì)列遙測(cè)傳輸 (MQTT) 協(xié)議將生成的情緒發(fā)送到數(shù)據(jù)分析系統(tǒng)以進(jìn)行累積和離線(xiàn)分析。

為什么這很酷

借助英特爾? OpenVINO ?分發(fā)版和大約 600 行 Go 代碼，您可以實(shí)現(xiàn)十年前需要非常專(zhuān)業(yè)的硬件和軟件才能實(shí)現(xiàn)的面部表情檢測(cè)。復(fù)雜的工作隱藏在深度學(xué)習(xí)模型中，這些模型已經(jīng)過(guò)面部和情緒檢測(cè)的預(yù)訓(xùn)練。然后，粘合源加載模型并將捕獲的幀呈現(xiàn)給模型進(jìn)行處理和分類(lèi)。當(dāng)與功能強(qiáng)大的硬件（例如基于第 6 代英特爾? 酷睿? 處理器或由英特爾 Movidius? X VPU 提供支持的英特爾神經(jīng)計(jì)算棒 2）搭配使用時(shí)，可以獲得令人印象深刻的推理速度，從而實(shí)現(xiàn)實(shí)時(shí)分析。

改編這個(gè)例子

面部表情的實(shí)時(shí)檢測(cè)具有廣泛的適用用例。許多是商業(yè)性的，例如了解購(gòu)物者的情緒，但您也可以應(yīng)用此解決方案來(lái)幫助患有某些類(lèi)型面部識(shí)別障礙的人。據(jù)估計(jì)，總?cè)丝谥杏?2% 患有發(fā)育性面容失認(rèn)癥。發(fā)育性面容失認(rèn)癥是指影響人臉識(shí)別或面部表情識(shí)別的障礙（表情性失認(rèn)癥）。該應(yīng)用程序可以識(shí)別發(fā)育性面容失認(rèn)癥患者的面部和面部表情。

此外，考慮將該技術(shù)應(yīng)用于增強(qiáng)虛擬現(xiàn)實(shí)。隨著越來(lái)越多的嵌入式設(shè)備開(kāi)始支持深度學(xué)習(xí)，可能的增強(qiáng)虛擬現(xiàn)實(shí)用例也會(huì)增加。例如，眼鏡可以集成攝像機(jī)和實(shí)時(shí)面部檢測(cè)功能，以便在捕獲的圖像上呈現(xiàn)虛擬疊加層，描述從佩戴眼鏡的人身邊經(jīng)過(guò)的人推斷出的面部表情。

很容易想到其他應(yīng)用。使用提供的示例代碼，您只需要為您的應(yīng)用程序使用輸出分類(lèi)。

在哪里了解更多

您可以在英特爾?物聯(lián)網(wǎng)開(kāi)發(fā)套件GitHub 上了解有關(guān)此演示的更多信息。

膠水應(yīng)用程序是用 C++ 和 Go 語(yǔ)言開(kāi)發(fā)的。該發(fā)行版包括面向 OpenVINO ?的英特爾?優(yōu)化人臉檢測(cè)和情緒檢測(cè)模型。您可以使用 Ubuntu 16.04 LTS Linux 操作系統(tǒng)、英特爾? OpenVINO ?工具包分發(fā)版和 OpenCL ?運(yùn)行時(shí)包輕松試驗(yàn)此應(yīng)用程序。

您還可以使用 AIoT 開(kāi)發(fā)套件快速啟動(dòng)您的開(kāi)發(fā)，其中包括 Ubuntu、OpenVINO ?、英特爾? Media SDK 和預(yù)裝英特爾?酷睿?處理器的英特爾? System Studio 2018。開(kāi)發(fā)工具包包括幫助您快速入門(mén)和運(yùn)行的教程。

您還可以使用基于 Intel ? Apollo Lake ?平臺(tái)的AAEON UP 板。