描述

團隊成員

孫國明 (gs45)

天月宇文（ty26）

歐陽劉昊(lo12)

徐瑞濤(rx9)

介紹

喚醒詞是諸如“Hi Siri”和“OK Google”之類的詞。我們用這些詞來喚醒我們的智能助手，并要求他們提供有用的信息。為了保護用戶隱私并保持較低的能耗，可以將喚醒詞檢測功能轉移到低功耗芯片上。當它檢測到喚醒詞時，它將其余的工作留給其他部分。

在這個項目中，我們將“是”和“否”定義為喚醒功能，并嘗試使用我們的開發板 Arduino Nano 33 BLE Sense 對“是”、“否”和其他詞進行分類。我們使用其 LED 燈的顏色：紅色、綠色和藍色來代表不同的類別。我們使用 TinyML 通過板上經過訓練的模型實現了喚醒詞檢測。當人們在 Arduino 板上說話時，它會自動檢測到他們。

過程

首先，我們需要獲取輸入。我們使用 Arduino Nano 33 BLE sense 上的內置麥克風獲取輸入的原始音頻，然后我們使用相關接口將其提取到我們的程序中。

我們預處理輸入以提取適合模型的特征。得到音頻訓練示例后，我們首先需要對原始音頻進行特征提取。它使用 FFT 將原始音頻轉換為頻譜圖。然后我們從頻譜圖中提取特征。之后，我們對處理過的輸入進行推理。我們使用此輸入來訓練我們的模型。我們的模型將輸出一組我們所說的已知單詞的概率。如果概率超過閾值，我們可以說我們說的詞就是超過概率的那個詞。

我們使用的模型經過訓練可以識別單詞“是”、“否”、未知單詞以及靜音或背景噪音。它每次輸入一秒鐘的數據。它輸出四個概率分數，一個對應于這四個類中的每一個。它可以預測數據的類別。該模型不接收原始音頻樣本數據。相反，它適用于頻譜圖。

一秒鐘的數據是一個頻譜圖，表示為具有 43 列和 49 行的二維數組。對于每一行，我們通過快速傅里葉變換算法 (FFT) 運行一段 30 毫秒的音頻輸入，該算法分析并創建一個包含 256 個頻率桶的數組。然后我們平均分成 6 組。為了構建整個 2D 陣列，我們將 49 個連續的 30 毫秒音頻切片的結果組合在一起，每個切片與最后一個切片重疊 10 毫秒。

音頻到頻譜圖

?

由于頻譜圖是二維數組，我們將其作為二維張量輸入到模型中。我們使用可與任何多維向量輸入一起使用的卷積網絡。事實證明，它們非常適合處理頻譜圖數據。

在計算機上運行程序后，我們使用 Arduino 將其部署到 Arduino Nano 33 BLE Sense 板上。并通過查看電路板上的指示燈和 Arduino 的工具串行監視器來跟蹤結果。

結果

我們在 Arduino Nano 33 BLE Sense 板子上運行程序，它可以區分是、否和其他未知詞。

結果

?

結論

在這個項目中，我們使用 TinyML 將經過訓練的音頻分類模型部署到 Arduino Nano 33 BLE Sense。通過這種方式，我們成功地在低功耗芯片上實現了喚醒詞檢測功能，從而使隱私安全和節能的數字輔助成為可能。

?