描述

隊(duì)員：

陳玉婷 (yc119)

王幫舉 (bw27)

喚醒詞檢測技術(shù)已廣泛應(yīng)用于各種語音助手，如 Apple Siri、Microsoft Cortana、Google Assistant。為了更好地理解這項(xiàng)技術(shù)，我們在我們的項(xiàng)目Arduino中構(gòu)建了這個項(xiàng)目，以在資源有限的物聯(lián)網(wǎng)設(shè)備中開發(fā)喚醒詞檢測應(yīng)用程序。

該模型將音頻數(shù)據(jù)作為輸入。正如我們將看到的，這需要大量處理才能將其輸入模型。該模型是一個分類器，輸出類別概率。我們必須解析并理解這個輸出。

使用該模型可以識別包括“是”和“否”在內(nèi)的詞，其他詞可以被檢測為“未知”。需要說明的是，在板檢測到“是”一詞后，燈將亮起 3 秒。同時，識別結(jié)果會顯示在屏幕上。檢測到“否”后，指示燈不變，識別結(jié)果顯示在屏幕上。此外，當(dāng)檢測到其他詞時，燈仍然不會改變，屏幕上會顯示“未知”。

我們將使用現(xiàn)有數(shù)據(jù)集，使用 Tensorflow 訓(xùn)練我們的模型，將其轉(zhuǎn)換為 TensorFlow Lite 模型并將模型部署到 Arduino 中。然后我們將觀察 LED 燈并查看 Arduino IDE 消息以獲取 Arduino 的輸出信息。

如圖所示，該程序包含以下組件：

主循環(huán)

與“hello world”示例一樣，我們的應(yīng)用程序在連續(xù)循環(huán)中運(yùn)行。所有后續(xù)進(jìn)程都包含在其中，并且它們會持續(xù)執(zhí)行，只要微控制器能夠以每秒多次的速度運(yùn)行它們即可。

音頻供應(yīng)商

該組件從麥克風(fēng)捕獲原始音頻數(shù)據(jù)。由于捕獲音頻的方法因設(shè)備而異，因此可以覆蓋和自定義此組件。

特征提供者

功能提供者將原始音頻數(shù)據(jù)轉(zhuǎn)換為我們的模型所需的頻譜圖格式。它作為主循環(huán)的一部分在滾動的基礎(chǔ)上這樣做，為解釋器提供一系列重疊的一秒窗口。

TF Lite 解釋器

解釋器運(yùn)行 TensorFlow Lite 模型，將輸入的頻譜圖轉(zhuǎn)換為一組概率。

模型

該模型作為數(shù)據(jù)數(shù)組包含在內(nèi)，并由解釋器運(yùn)行。該數(shù)組位于 tiny_conv_micro_features_model_data.cc 中。

識別命令

由于推理每秒運(yùn)行多次，因此識別命令類會聚合結(jié)果并確定平均而言是否聽到了一個已知單詞。

命令響應(yīng)器

如果聽到命令，命令響應(yīng)器會使用設(shè)備的輸出功能讓用戶知道。根據(jù)設(shè)備的不同，這可能意味著 LED 閃爍，或在 LCD 顯示屏上顯示數(shù)據(jù)。可以針對不同的設(shè)備類型覆蓋它。