描述

1.團隊成員

林振陽（zl89）

益海龍（yl215）

劉正桐 (zl92)

博城灣 (bw31)

2.介紹

我們的團隊 MissingPort 由林振陽、劉正彤、龍一海、萬博成四人組成。我們的項目是構建一個能夠識別一小段語音輸入的語音識別設備。我們使用 TensorFlow 訓練語音識別模型，然后將簡化模型加載到我們的設備 Arduino Nano 33 BLE 中。因此，我們的設備可以接受語音輸入并通過閃爍不同的燈來顯示預測的識別結果。在我們的項目中，我們使用了Pete Warden 和 Daniel Situnayake在 Arduino 和超低功耗微控制器上使用 TensorFlow Lite 的機器學習作為我們的項目指南。我們的這個項目的過程顯示在 Schematics 塊中。

3.模型訓練

首先，我們需要為我們的設備提供語音模型。因此，我們將使用機器學習從我們的語音樣本中生成模型。根據 Warden 書中的說明，我們項目中使用的主要工具是 Python、TensorFlow 和 Google 的 Collaboratory。我們可以將我們的訓練分為七個不同的階段。在第一階段，我們需要獲得一個簡單的數據集。在第二階段，我們訓練了深度學習模型。然后在第三階段，我們評估了模型的性能。在第四階段，我們轉換了模型，使其可以在我們的設備上運行。接下來，在第五階段，我們創建了代碼來執行設備上的推理。在第六階段，我們將代碼構建成二進制。在最后階段，我們將二進制文件部署到我們的微處理器中。

在模型訓練中，我們嘗試了很多單詞對的組合，比如 cat-dog、stop-go、on-off 和原始的 yes-no。每對的訓練過程最多需要兩個小時。

圖 2：培訓信息

?

圖 3：測試結果

?

從測試結果可以看出，準確率接近90%，每對單詞的準確率接近90%。如果準確率不在 90% 左右，我們將增加訓練步驟以提高準確率。

4.模型部署

我們使用的設備是 Arduino Nano 33 BLE Sense。當我們部署模型時，需要修改原始文件夾中的三個文件，“Micro_features_model.cpp”、“arduino_command_responder.cpp”和“micro_features_micro_model_settings.cpp”。修改后，我們上傳了程序，做了幾次測試。

圖 4：部署完成

?

5.遇到的問題

圖 5：不期望的預測結果

?

在嘗試將我們的模型部署到設備時，我們遇到了一個非常奇怪的問題。除了“是，否”對之外的訓練模型表現不佳。例如，左右對模型無法很好地區分背景噪音和語音。雖然增加了訓練步數，但問題依然存在。對于其他模型，模型很容易預測第一個詞，但很難預測第二個詞。但是，對于“是-否”配對模型，一切都按預期進行。我們調查了原始語音數據源，發現有幾個數據點被錯誤地標記。例如，在貓和狗數據文件夾中，幾個“是”或“否”數據點被標記為“貓”或“狗”。我們確實相信這些錯誤標記的數據點會導致我們訓練的模型不準確。我們為我們訓練的其他幾對附加了我們的模型。為了解決這個問題，必須徹底檢查原始數據集，以確保所有數據點都有正確的標簽。

?

?