入室盜竊是大多數人永遠不想經歷的事情。一個人的個人物品被拿走，房屋和家具可能會受損，最糟糕的是當一個人的神圣、受保護的空間受到侵犯時，會感到恐懼。

有一些方法可以降低被盜的風險。沒有家庭安全系統的房屋被闖入的可能性比有一個的房屋高 300%（來源）。盡管如此，大多數人并不費心去建立這樣一個系統。為什么？

它們很難設置。進入住宅的每一扇門或窗戶都需要一個特殊的傳感器，這些傳感器都需要與基本單元通信。

它們相對昂貴。成本因房屋大小而異，但設備成本從 250 美元到 1500 美元不等，安裝成本增加到總成本，監控成本平均每年額外增加 360 美元（來源）。

他們很不方便。家庭安全系統是另一件要記住打開/關閉的事情，忘記這樣做會導致系統無效或誤報。

我們可以使用基于 Microsoft Azure Sphere 構建的 Safe Sound 家庭安全系統做得更好。Safe Sound 系統是一個集中式家庭監控系統，無需特殊安裝，并將通知所有者任何檢測到的事件。大多數入室盜竊都是吵鬧的：95% 的盜竊案涉及通過打破窗戶或踢開門強行進入家中（來源）。Safe Sound 系統利用這一點來偵聽強行進入的跡象。所以它可以放在家里的任何地方，如果附近的窗戶破了，或者有人開槍，它就會向配套應用程序發送通知。

?

1 / 2 ?安裝了 Safe Sound

為 Safe Sound 構建的應用程序適用于 Android 和 iOS 設備，并具有許多功能，包括更新系統的事件冷卻時間（報告連續事件之間等待的時間）、查看最近的事件歷史記錄、模擬窗口破裂、在事件發生時接收通知，以及啟用/禁用 Azure Sphere 設備的能力。

Azure Sphere 非常適合這個項目，因為它專注于安全性。它內置了許多安全功能，包括微控制器單元中的內置硬件安全性、專為抵御物聯網威脅而設計的定制操作系統，以及一致的安全更新。這確保了 Safe Sound 設備本身是安全的，因為它可以保護您的家。

經營概況

該項目由幾個不同的組件組成，這些組件必須協同工作以提供強大的安全服務。在高層次上，Azure Sphere 使用麥克風收集音頻數據并不斷對其進行分類，以查找表明有人闖入的音頻事件。如果它檢測到此類事件，它會向 Azure 云服務發送通知，該服務會向關聯的應用程序發送通知。其他狀態消息，例如控制設備是否處于武裝狀態，也通過 Azure 云服務在應用程序和設備之間來回傳送。

有關不同部分之間連接的直觀視圖，請參見下圖。

服務和設備之間的數據流

音頻分類是直接在 Azure Sphere 上使用機器學習實現的。創建一個兩層門控循環單元 (GRU) 網絡，并根據收集的數據和用各種事件標記的數據進行訓練。在這種情況下，使用了三個類別：窗戶破裂、槍聲和背景噪音。背景噪音包括通常在家中聽到的聲音，包括寂靜。Azure Sphere 將音頻連續分類為三個類別之一。如果預測的類別是背景噪聲（大多數情況下都是如此），則丟棄預測并檢查下一個音頻塊。如果預測的類別是其他類別，則設備會向所有者發送有關檢測到的事件的通知。

1 / 2 ?窗戶破裂的音頻波形

收集音頻數據

如圖所示，音頻數據是通過 Mic 2 Click 收集的，它可以感應聲波引起的壓力變化，并將它們輸出到 Azure Sphere 上的模數轉換器 (ADC)。Sphere 每秒從 ADC 獲取 16, 000 個樣本并將其存儲在一系列緩沖區中 - 本質上這是脈沖編碼調制 (PCM) 音頻格式。每個緩沖區都是一大塊音頻數據，在本例中為 512 個數據點。每個緩沖區都被送入音頻分類器，預測是否有音頻事件發生，例如玻璃破碎，這表明窗戶被打破了。

執行音頻分類

如前所述，音頻分類直接在 Azure Sphere 上執行。Sphere 在內存和處理能力方面相當受資源限制，這可能會使運行機器學習模型變得困難。對于此任務，使用了 Microsoft 開發的嵌入式學習庫(ELL)。ELL 是專門用于在嵌入式設備上轉換和運行機器學習模型的庫。雖然可以從 Sphere 連續流式傳輸音頻數據，然后使用 Azure 機器學習等工具在云中執行分類，但在本地進行分類有幾個優點：

隱私和安全

通過在本地進行分類，Azure Sphere 收集的音頻數據永遠不會離開設備。它沒有存儲在某處的服務器上，因此不太可能意外暴露或被黑客收集。相比之下，如果將音頻數據發送到云端以執行模型推理（分類），那么有權訪問云服務器的人就有可能收聽家中發生的一切。

速度

由于通過互聯網通信引入的延遲，云上的機器學習比使用本地處理簡單模型要慢得多。在這個項目中，這可能意味著不可能實時執行音頻分類，而是將事件檢測限制為每隔幾秒進行一次。

網絡要求

從本質上講，在云端使用機器學習需要互聯網連接，因此沒有網絡連接的設備將無法使用機器學習。此外，可能需要額外的帶寬來處理向機器學習服務器發送數據的設備增加的負載。對于此項目，即使 Sphere 的互聯網連接中斷，也會檢測到音頻事件，但不會發送通知，因為它們需要連接。

改進

雖然在這個項目中沒有實現，但在邊緣運行機器學習模型的能力也允許在設備上更新這些模型，從而改進未來的功能。

來自 Azure Sphere 的音頻分類輸出示例

因此，音頻分類是在 Azure Sphere 上連續進行的。大多數時候，Sphere 會檢測到正常的背景噪音。但是，如果有人在 Sphere 的聽力范圍內打碎玻璃或開槍，它會將其檢測為音頻事件并向所有者發送通知。

發送通知

在 Sphere 上檢測到事件時的操作流程

Azure 云服務用于處理和發送通知。整個流程從 Azure Sphere 檢測音頻事件并將遙測事件發送到它配置連接到的 Azure IoT 中心開始（請參閱下文了解如何配置該中心）。IoT 中心接收此通信并將其轉發到另一個 Azure 服務 Event Hub，該服務允許將事件路由到不同的端點。在這種情況下，事件中心將事件消息傳遞給自定義 Azure 函數，該函數使用 Google Firebase Messaging API 請求向任何已注冊的 Android 或 iOS 設備發送通知（請注意，對 iOS 設備的通知也會通過 Apple 的服務器）。Firebase Messaging 然后將實際通知傳送到所有者的手機。

構建安全完善的家庭安全系統

組裝一個 Safe Sound 家庭安全系統包括五個主要步驟：首先準備好硬件；然后將軟件加載到 Azure Sphere 上；接下來，配置必要的 Azure 云服務和 Firebase 消息傳遞（如果您有 iOS 設備，還需要配置 Apple 通知服務）；最后，3D 打印設備外殼并將其放在方便的地方。接下來的幾個部分將更詳細地介紹這些步驟。

準備硬件

雖然 Azure Sphere 入門套件硬件開箱即用，但 Mic 2 Click 需要進行一些調整才能與 Sphere 配合使用。如Azure Sphere MT3620 的硬件說明中所述，當輸入引腳配置為與 ADC 一起使用時，輸入電壓不能超過 2.5V。但是，未修改的 Mic 2 在 3.3V（或 5V）下工作，并根據它感知到的聲音強度輸出 0 - 3.3V。由于 Mic 2 的電阻主要取決于兩個相對恒定的組件，即駐極體電容麥克風和運算放大器，因此可以使用簡單的分壓器將電壓降至 2.5V。

駐極體電容麥克風和運算放大器均可在 2.5V 電壓下工作，但用于調節運算放大器增益的可編程電位器至少需要 2.7V 才能工作。所以加了分壓器后，增益就不再可調了。然而，這不是一個大問題，因為默認增益應該適用于錄制和分類一般音頻。

要計算分壓器所需的電阻器，請查看Mic 2 數據表并假設穩態運行。在仔細解決問題并參考麥克風數據表和運算放大器數據表后，分壓器的輸出阻抗可以計算為 439 歐姆（主要是由于功率 LED 電阻）。考慮到這一點，在 Mic 2 電路之前串聯一個 150 歐姆的電阻器應該可以將輸入電壓降低到 2.5V。使用烙鐵拆焊下圖中圈出的現有 0 歐姆電阻器，然后焊接到新電阻器上。將點擊板插入 Azure Sphere 上的插槽 #1，您就可以準備軟件了。

用 150 歐姆電阻替換圈出的電阻（圖片來源：www.mikroe.com/mic-2-click）

設置 Azure Sphere 軟件

由于 Azure Sphere 專注于維護 IoT 設備的安全性，因此設置比其他微控制器要復雜一些。在加載此特定項目的代碼之前，您需要安裝 Azure Sphere SDK、聲明您的設備并將其與租戶相關聯，然后配置網絡。此處的文檔中指定了每個步驟的更多詳細信息。確保您一直執行“配置網絡”。

有多種方法可以將代碼部署到 Azure Sphere，但如果您想試驗或更改代碼，最合適的方法是將設備置于文檔中指定的開發模式。要將設備置于開發模式，請將 Sphere 插入已加載 Azure Sphere SDK 的計算機，打開 Azure Sphere 開發人員命令提示，然后發出以下命令：

?

azsphere device enable-development

?

在開發模式下，Sphere 可用于本地調試并且禁用云應用程序更新。

現在 Azure Sphere 已準備好向其加載一些代碼。使用以下方法將 SafeSound 存儲庫克隆到方便的位置：

?

git clone https://github.com/jdpwebb/safe-sound.git

?

為了編譯代碼并將其加載到 Azure Sphere，我們將使用 Visual Studio 2019，因為它使用起來簡單流暢。但是，還有其他選項（目前處于預覽狀態），如果您更喜歡使用命令行，可以嘗試按照此文檔進行操作。對于 Visual Studio，請執行以下步驟：

1、打開Visual Studio 2019，選擇File > Open > CMake...，打開SafeSound repo > SafeSound_code > CMakeLists.txt下的CMakeLists.txt文件。

2. 選擇 Build > Build All 并確保代碼編譯沒有任何問題。

3. 使用 USB 線將 Azure Sphere 連接到計算機。

4. 在工具欄中間的“選擇啟動項”下，選擇 GDB 調試器 (HLCore)。

設置啟動項為 GDB Debugger

5. 點擊“GDB Debugger (HLCore)”旁邊的綠色播放按鈕，等待Visual Studio開始調試。

應用程序開始調試后，您會看到一些錯誤，因為 Sphere 未連接到 Azure IoT Hub。但是，您仍然可以通過按下按鈕 A 來測試一切是否正常，這將模擬窗口破裂事件。現在讓我們將 Sphere 連接到 IoT Hub！

連接到 Azure 物聯網中心

調試和配置與 Azure IoT 中心的通信相對簡單，因為 Azure Sphere 應用程序代碼自動管理設備預配和與中心的連接。執行以下步驟以允許 Sphere 與 IoT Hub 通信：

1. 按照此處的文檔設置 IoT 中心和設備配置服務。

2. 打開 SafeSound repo > SafeSound_code > app_manifest.json 下的 app_manifest.json。X 的字符串以及集線器連接端點都需要替換。

3. 打開 Azure Sphere 開發人員命令提示并發出以下命令以打印您的 Sphere 租戶 ID：

?

azsphere tenant show-selected

?

將返回值復制到 app_manifest.json 中的 DeviceAuthentication 字段。

4. 登錄到Azure 門戶并找到您的設備配置服務。復制 ID Scope 并將其粘貼到 app_manifest.json 中的 CmdArgs 字段中。請參閱下圖以了解可以在何處找到 ID 范圍。

在哪里可以找到 ID 范圍和鏈接的 IoT 中心

5. 在左側的設置下，單擊鏈接的物聯網中心（見上圖）。復制 Hub 的服務終結點值并替換 app_manifest.json 的 AllowedConnections 字段中的“Daedalus.azure-devices.net”。

6. 保存 app_manifest.json 文件并通過單擊綠色播放按鈕運行代碼。您應該會看到幾條消息，表明設備已成功預配并連接到 IoT 中心。

現在 Safe Sound 家庭安全設備可以與 Azure IoT 中心通信，它需要一個發送通知的地方：一個應用程序！

智能手機應用程序概述

如前所述，為 Safe Sound 構建的應用程序可以控制家庭安全設備，包括布防/撤防和調整某些設置，并允許所有者查看最近事件的歷史記錄。此外，當 Safe Sound 系統檢測到事件時，它將收到通知。該應用程序是使用Flutter構建的，因此只需最少的額外配置即可在 Android 和 iOS 手機上運行。請參閱下面的 Safe Sound 配套應用程序的一些圖片。

1 / 4 ?控制屏幕

設置應用程序

在手機上構建和加載應用程序之前，必須填寫一些變量，以便應用程序可以連接到 IoT 中心以發送和接收來自 Safe Sound 設備的消息。導航到 SafeSound repo > SafeSound_app > lib 并打開 main.dart。文件頂部是三個需要填寫的常量：sharedAccessKey、deviceID、iotHubEndpoint。iotHubEndpoint 與之前在 app_manifest.json 中輸入的字符串相同。deviceID 是 IoT 中心提供給 Azure Sphere 的 ID。可以通過打開 IoT 中心找到它，單擊側面菜單中的“IoT 設備”，然后選擇您的設備。請參閱下圖以進行視覺演練。

1 / 2 ?在左側菜單中選擇物聯網設備

sharedAccessKey 是與 IoT Hub 關聯的密鑰，它授予持有者以特定方式與 Hub 交互的權限。對于此項目，共享訪問密鑰需要具有“服務連接”權限。請注意，此密鑰授予對您的 IoT 中心的訪問權限，不應向任何人透露或簽入源代碼管理。此外，企業物聯網服務將使用后端服務器來驗證應用程序用戶并管理他們有權訪問的服務。然而，就此項目而言，將共享訪問密鑰直接放在應用程序中更簡單、更容易。要找到共享訪問密鑰，請轉到您的 IoT 中心，單擊“共享訪問策略”，選擇“服務”策略，然后復制“主密鑰”。請參閱下圖以獲取視覺指南。

1 / 2 ?在左側菜單中選擇共享訪問策略

填寫變量后，現在可以構建應用程序并將其安裝在您的手機上。首先你需要安裝 Flutter 。安裝 Flutter 后，只需幾步即可構建該應用程序。以下說明描述了如何為 Android 手機構建應用程序，因為這是我的手機類型，但可以在此處找到在iOS 設備上構建和加載應用程序的說明。

要創建應用程序的 Android 版本，首先創建一個簽名密鑰并為應用程序簽名（注意：僅按照“為應用程序簽名”的說明進行操作；到達“啟用 Proguard”后停止）。然后通過打開 flutter 命令提示符并發出以下命令來構建 APK（這可能需要幾分鐘才能完成）：

?

cd /SafeSound_app
flutter build apk --split-per-abi

?

要安裝該應用程序，請先在您的 Android 手機上啟用開發者選項和USB 調試。將手機連接到計算機，然后在 flutter 命令窗口中鍵入以下內容：

?

cd /SafeSound_app
flutter install

?

恭喜！該應用程序現已安裝，您可以測試布防/撤防 Safe Sound 家庭安全系統。該應用程序現在可以控制 Azure Sphere，但還需要執行幾個步驟來設置檢測到闖入事件時的通知。

設置事件通知

為 Safe Sound 系統啟用通知包括兩個主要部分：將應用程序連接到 Firebase Cloud Messaging（如果您有 iOS 設備，則連接到 Apple Push Notification Service），并設置 Azure Functions 以在檢測到事件時發送實際通知由 Azure Sphere。

將應用程序連接到 Firebase

要將應用程序連接到 Firebase 云消息傳遞，首先要創建一個 Firebase 項目。

1. 打開 Firebase 控制臺并單擊“創建項目”并輸入項目名稱。

2. 單擊繼續，然后禁用該項目不需要的 Google Analytics。

3. 單擊“創建項目”。

?

1 / 3 ?單擊創建項目

下一步是配置您的手機以使用 Firebase。和以前一樣，此處將顯示配置 Android 設備的說明，但如果您有 iOS 設備，請按照這些說明進行操作。

要為 Android 設備啟用通知，請執行以下步驟：

1、點擊安卓上圖“添加應用開始”。

2.填寫Android包名“com.jwebb.safe_sound_app”，點擊“注冊應用”。

3. 下載 google-services.json 文件并將其放在 /android/app/ 中。

4. 重建應用程序并使用與之前類似的過程將其安裝到您的設備上：

?

cd /SafeSound_app
flutter build apk --split-per-abi
flutter install

?

現在應用程序可以接收通知，但我們仍然需要配置一個 Azure Functions 來發送它們。

創建一個 Azure 函數來發送通知

完成以下步驟以設置用于推送通知的 Azure 函數。查看圖像以進行視覺演練。

1. 導航到Azure 門戶并單擊 Function App > Create（如果沒有為您顯示 Function App，請在搜索欄中搜索它）。

2. 填寫Function App name，Runtime stack選擇Node.js，Region選擇Central US。如果您愿意，可以嘗試選擇不同的區域，但并非所有區域都具有相同的配置選項。單擊下一步：托管>

3. 如果尚未選擇，請為操作系統選擇 Windows，為計劃類型選擇消耗。請注意，消費計劃會按月向您收費，但成本很小。我每周為 Azure 函數和存儲支付 1 美分。點擊下一步：監控 >

4. 禁用Application Insights（本項目不需要），然后點擊Review + create。

5. 仔細檢查配置（見下圖五）并單擊創建。

6. 成功部署資源后，單擊轉至資源并單擊 + 添加新功能（功能旁邊）。

7. 向下滾動并選擇 In-portal，然后選擇 Continue。

8. 向下滾動并選擇更多模板...，然后選擇完成并查看模板。

9. 向下滾動到 IoT 中心（事件中心）并選擇它。出現提示時安裝擴展，安裝完成后按繼續。

10. 在 New Function 窗口中，單擊 Event Hub connection 下的 new。

11. 在彈出窗口中選擇 IoT Hub 并接受默認值。

12. 最后，在“新建函數”窗口中單擊“創建”。

1 / 13 ?創建一個新的功能應用程序

現在Function App 已經調試完成，需要配置它通過Firebase 發送通知。這涉及設置憑據以授予 Azure Functions 通過 Firebase 發送通知的權限。執行以下步驟：

1. 轉到Firebase 控制臺的項目概覽頁面，點擊項目概覽旁邊的齒輪圖標，然后點擊項目設置。

2. 選擇服務帳戶選項卡并向下滾動到 Admin SDK 配置片段。單擊生成新私鑰并下載生成的 JSON 文件。它包含訪問此 Firebase 項目的憑據，將在下一步中使用。

1 / 2 ?單擊項目概覽旁邊的齒輪圖標，然后單擊項目設置

3. 切換回 Azure Function 并單擊其名稱，然后單擊底部中心的控制臺。

4.使用以下命令安裝firebase-admin SDK

?

npm install firebase-admin

?

5. 單擊右側的查看文件，然后單擊上傳。在文件選擇器對話框中，選擇在第 2 步中下載的 JSON 文件。

6. 打開 SafeSound 存儲庫（或從Github 此處）中的 azure_function.js 文件，復制所有代碼并將其粘貼到 Azure Function 的在線編輯器中。單擊保存。

7. 單擊您的 Function App 的名稱，然后單擊 Configuration。

8. 單擊新建應用程序設置并將名稱字段設置為 GOOGLE_APPLICATION_CREDENTIALS。Value 字段應設置為 /home/site/wwwroot/IoTHub_EventHub1/.json。

9. 單擊確定，然后單擊保存。

1 / 6 ?打開控制臺并安裝 firebase-admin SDK

全部完成！現在已為該應用程序設置通知。打開應用程序，選擇“事件”選項卡，然后按“模擬事件”對其進行測試。

添加案例

通過 3D 打印外殼進行最后潤色。下載附加的 STL 文件并打印它們，或制作您自己的文件。如果您使用附帶的外殼設計，則應打印外殼的上半部分，以便按扣水平（即外殼頂部的突出物應與層的方向相同）。這是確保按扣足夠堅固所必需的。如果不以這種方式打印，由于打印層之間固有的弱點，按扣很可能會折斷。

1 / 2 ? Safe Sound 設備的 3D 打印外殼

試驗機器學習模型

用于對音頻進行分類的機器學習模型是使用此 Python notebook構建的，該notebook 在瀏覽器中的 Google Colab 上運行，無需安裝。

可以將其他功能添加到設備中。一個重要的是在線訓練分類模型的能力。通過這種方式，該設備將不斷學習（通過用戶反饋）并更好地檢測家庭入室盜竊。

?