描述

每年有近 1900 萬英畝的森林被毀，相當于每分鐘 27 個足球場。森林是成千上萬動物的家園，對許多人來說，它們是食物、水、衣服、藥品和庇護所的來源。所謂的地球之肺還通過充當碳匯來緩解氣候變化。隨著城市隨著森林火災等自然災害的增加而以驚人的速度擴張，保護森林生態系統的必要性是我們應對氣候變化的重要一步。森林火災無需介紹。話雖如此，超過 80% 的森林火災是人為的（人為的），而不是生物的（自然的）。這些原因可能有很多，例如非法采伐、砍伐森林的努力。非法采伐造成的森林損失對生物多樣性構成威脅在森林棲息地。越來越多的物種無法生存，因為這種做法否認了對自然相互聯系至關重要的棲息地。森林的廣泛破碎和退化使更多的動植物物種瀕臨滅絕。因此，停止非法采伐將有助于恢復動植物并恢復自然平衡以維持世界。

建議的解決方案

解決方案是在邊緣本身由太陽能供電，基于聲學事件構建非法記錄檢測。迄今為止，大多數解決方案都嚴重依賴云來對從傳感器收集的數據進行后處理，這受到網絡帶寬的限制，這使得它們成為耗電設備。因此，所提出的設備將能夠在邊緣對 3 類聲學事件進行分類，即：正常（天然森林聲音）、斧頭（使用 Axe 記錄樹木）、電鋸（使用鏈鋸記錄樹木），并且只會發送通過射頻將分類結果和設備狀態發送到基站。基站接收數據，將其上傳到云端，如果檢測到非法登錄，則會向有關當局發出短信警報。為了在森林中維持這種解決方案，我們需要收集太陽能并將其儲存在電池中。此外，為了節省電力，設備將處于睡眠、喚醒推理和再次睡眠的連續循環中。

建筑五金

我們的首要目標是選擇節能的組件，因為該設備將完全依靠電池和太陽能運行。下面提到的是選擇的組件列表：

1) QuickFeather 開發套件：該板具有 80Mhz Arm 內核和 eFPGA，有助于更快地執行計算密集型任務，同時減少能耗。該板具有帶低功率聲音檢測器 (LPSD) 的板載麥克風、NOR 閃存、帶 JST 連接器的電池充電器，這使其成為我們應用的合適候選者

2) Xbee S2C：此射頻模塊可在低至 2mW 的功率下運行，睡眠電流為微安。除了電源規格外，模塊的可用性和價格也使其脫穎而出。

3) 太陽能答題板：該模塊包含 TI 的 BQ25570 納米功率升壓充電器和降壓轉換器。低冷啟動電壓 (300mV)、峰值輸出電流 (110mA)、簡單的引腳分配和備用超級電容器使其適合我們的項目。

在亞馬遜上找到了一個便宜的太陽能照明模塊，結果證明它是該項目的一個很好的外殼，因為太陽能電池板已經連接到外殼上，還有一個電池座。由于快羽板上的麥克風朝下，請確保開口沒有被外殼堵塞。所有組件都使用焊接到原型板的母頭針連接。硬件連接如下：

1）太陽能電池板輸入連接到太陽能點擊模塊的輸入引腳。為了啟用降壓升壓轉換器，太陽能答題器模塊的EN 引腳短接到地。升壓后的電壓又使用 just 連接器連接到快速引出板。XBee 通過快速轉接板上的穩壓輸出 (J3_15) 供電，以保持穩定的射頻通信。電池也通過 JST 連接器旁邊的 Vbat 引腳連接。

2）快速羽毛板上的Rx和Tx引腳分別連接到Xbee模塊的Rx和Tx引腳。連接到 Xbee 模塊的 Pin 9 的 Quick Feather 上的 IO_6 引腳控制 Xbee 模塊的睡眠周期。將其拉高（3.3 V）會使 XBee 進入睡眠模式并保持低電平（GND）將其喚醒。

小飛線用于形成組件之間的互連。以下是硬件設計的一些快照。

數據采集

SensiML 為數據捕獲、數據建模和固件生成提供端到端軟件解決方案，用于低功耗資源受限設備的設備上推理。要使用 SensiML Solutions 的快速功能，我們需要將數據收集固件 bin 文件閃存到板上。您可以直接從SensiML 網站下載 bin 文件（確保下載支持音頻的 bin 文件）并按照本教程開始。我在為 Tinyfpga 程序員創建別名時遇到問題，但是，使用 git bash 控制臺幫助我解決了創建別名“qfprog”以及將 bin 文件閃存到板上的問題。

由于我們需要在項目后期編寫一些固件，因此最好獲得一些在eclipse ide上使用Quickfeather Simple Streaming Interface AI Application Project生成bin文件的實踐經驗。這是在 Eclipse 上設置應用程序項目的描述性演練。

在 IDE 上設置項目后，前往Fw_global_config.h文件并為要在Data capture Lab中檢測到的設備進行以下更改。

選擇音頻宏以通過 UART 啟用音頻流。您還需要在項目的sensor_audio目錄中的sensor_audio_config_user.h頭文件中啟用SENSOR_AUDIO_LIVESTREAM_ENABLED宏。

點擊構建按鈕（錘形），生成位于 GCC_Project/output/bin 目錄中的 bin 文件。在同一目錄下打開 git bash，在綠色 LED 停止閃爍之前按板上的重置按鈕，然后按用戶按鈕，然后使用以下命令刷新 bin 文件。

qfprog --port  --m4app .bin --mode m4

一旦程序被刷新，根據以下連接將 USB 到 TTL 串行轉換器連接到快速羽毛：

Rx（串行轉換器）-> Rx（快速羽毛板）

Tx（串行轉換器）-> Tx（快速羽化板）

接地（串行轉換器）-> 接地（快速羽毛板）

首先，創建一個新帳戶并下載 DCL 軟件，然后登錄。連接就緒后，打開 Data Capture Lab，創建一個新項目，為其命名并將其保存在某個位置。然后從“標簽資源管理器”模式切換到“捕獲”模式。DCL 使用 SSF 文件形式的插件，告訴它如何與設備通信。在此處下載QuickFeather 的一個（確保為 Simple Streaming 選擇一個）并使用 Edit->Import Device Plugin 并選擇剛剛下載的 SSF 文件添加它。在右上角你會看到 Sensor Configuration 是空的，所以點擊 add new sensor 按鈕，選擇 QuickFeather Simple Stream 插件，使用“Audio”捕獲源，采樣率為每秒 16000 個樣本，然后確保選中“麥克風”。繼續并使用您喜歡的名稱保存它。

設置好電路板后，使用“掃描設備”按鈕找到正確的串行端口（用于 USB 到 TTL 串行轉換器的端口！）后，在 DCL 中單擊“連接”。如果它最初不起作用，請嘗試拔下轉換器，將其重新插入，或斷開并重新連接。在該窗格下方，有一個用于添加標簽和元數據的部分。我添加了三個標簽：普通、斧頭和電鋸。準備好后點擊錄制按鈕。

錄制完成后，我們需要清理音頻數據，因為我們不希望將不需要的音頻片段輸入到訓練模型中。這可以通過轉到左上角的 Project Explorer 選項卡并雙擊要修改的捕獲來完成。然后我們可以通過在要保留的區域上按住鼠標右鍵單擊的同時拖動鼠標來添加段。您可以在右上角看到它們。這也允許我們通過為每個標簽創建段并更改標簽來在同一捕獲中捕獲不同的標簽。您還可以使用檢測段底部的選項可自動檢測數據中的段并為您完成所有重復性工作。確保為每個類創建相同數量的段，因為這將平衡模型并防止其欠擬合或過擬合。您還可以添加數據視頻以與音頻事件相關聯。

在前往 File->Close File 之后，是時候使用 Analytics Studio 從捕獲的數據生成模型了。請記住，保存在 DCL 中的數據會自動上傳并存儲在云中，盡管刷新和顯示可能需要一些時間。

數據訓練：

SensiML 提供社區版訂閱計劃，該計劃以零成本提供分析工具包中的大部分功能。對于想要嘗試的制造商來說非常有用。

在 Web 瀏覽器中登錄到Analytics Studio ，然后選擇在 DCL 中創建的項目。

要訓??練模型，我們必須首先通知 Analytics Studio 我們要在查詢表單中使用的數據。這可以通過單擊Prepare Data選項卡并輸入名稱、會話、標簽、相關元數據、傳感器以及如何繪制它來完成。保存后，數據集應該出現在右側，我們可以看到每個標簽中有多少段。

管道是一系列數據處理步驟的容器。管道對象允許您獲取現有管道或創建具有給定名稱的新管道。您可以使用創建的對象設置輸入數據源、添加轉換、特征生成器、特征選擇器、特征轉換和分類器。我們可以通過單擊Build Model選項卡并輸入以下詳細信息來創建管道：

1) 管道名稱：

2）選擇剛剛創建的查詢，

3) 窗口大?。核鼘诿總€事件要緩沖的樣本數。這會對模型和模型的大小產生顯著影響。因此明智地設置它。

4) 優化指標：在準確性、F1 分數、靈敏度之間選擇您的優先級。

5) 分類器大?。哼@限制了模型的大小，非常適合加載到 ROM 受限的芯片上。

單擊Optimize將通過并構建模型。單擊“顯示高級設置”欄以顯示選項。我喜歡這組選項，因為它提供了更多的靈活性和對模型構建過程的控制。我選擇的選項之一是“平衡數據”，它可以平衡每個班級中的數據以進行訓練。隨意使用這些設置，因為管道日志非常智能，因為它建議用戶在構建失敗的情況下更改某個參數。

SensiML 提供了更多選項來研究生成的模型。切換到左側的 Explore Model 選項卡以顯示與模型相關的所有詳細信息，例如 Model Visualization、Confusion Matrix、Feature Summary 和 Knowledge Pack Summary。如果您想優化和調整底層算法，請訪問 e 高級模型構建教程

您可以通過單擊左側下拉菜單中的“下載模型”選項繼續下載模型/知識。SensiMl支持的板子非常多，我們需要選擇的就是快羽板。即使您的開發板不受支持，您也可以選擇 ARM GCC Generic，它會下載靜態庫以及示例代碼，以便與任何支持 ARM 的開發板一起使用。下面提到的是我們在下載知識包之前需要關注的選項：

1) 浮點選項：這將為浮點特定約定生成浮點指令目標

2）格式：我們這里有三個選項（二進制、庫、源）。源代碼僅適用于付費版本。如果您想直接將其閃存到板上，請下載選擇二進制文件。對于我們的項目，我們需要庫格式以無縫集成到固件中。

3) 應用：選擇簡單流選項，因為我們使用 Uart 進行數據采集，而不是 WIFI 板。

4) Debug：在 Advanced Setting 選項卡下，確保將其設置為true ，因為在快速邏輯論壇上已經報告了與識別結果不顯示在 Uart Terminal 相關的問題。

固件開發：

固件開發的第一步是將生成的知識包集成到qf_ssi_ai_app項目中。下面提到的是一些可以幫助您實現相同目標的鏈接：

將 SensiML 庫編譯到 QuickLogic QuickFeather 文檔中

這里的任務是開發固件，在特定持續時間內執行音頻推理，進入睡眠模式以在固定時間段內節省電量，然后再次喚醒以恢復循環。qf_ssi_ai_app項目使用音頻數據塊處理器線程來收集音頻數據，將其輸入模型，并將識別結果輸出到控制臺。如果我們可以掛起這個線程，設備將自動進入理想狀態，因為沒有更多任務要運行。因此，固件設計計劃解釋如下：

代碼開發的分步指南如下：

1）在sensor_audio_config_user.h文件中開啟識別模式：

#define SENSOR_AUDIO_RECOG_ENABLED (1)    // Change it to 1
#define SENSOR_AUDIO_LIVESTREAM_ENABLED (0)
#define SENSOR_AUDIO_DATASAVE_ENABLED (0)

2）在main.c文件中添加如下頭文件

#include "ql_audio.h"   
#include "sml_output.h"

3) 創建一個附加到音頻數據塊處理器線程的句柄并定義外部，使編譯器的生活變得容易。創建計時器句柄以控制設備的活動持續時間和睡眠周期。

extern TaskHandle_t xTobeParsed;
TickType_t xTimestart;
TimerHandle_t idealtimer;
TimerHandle_t worktimer;
#define IDEAL_TIMER_PERIOD    10000
#define WORK_TIMER_PERIOD     2000

4) 現在通過更改以下文件將任務附加到線程：

• sensor_audio_process.c：

// Add this at the top of file
TaskHandle_t   xTobeParsed;

// Pass the address of the task handle in the last parameter
datablk_processor_params_t audio_datablk_processor_params[] = {
    { AUDIO_DBP_THREAD_PRIORITY,
      &audio_dbp_thread_q,
      sizeof(audio_datablk_pe_descr)/sizeof(audio_datablk_pe_descr[0]),
      audio_datablk_pe_descr,
      256,
      "AUDIO_DBP_THREAD",
      &xTobeParsed                   /****** Edited here ********/
    }
};

• datablk_processor.h：

// As we are passing the address of the task handle, we need to change type of the 
// datablk_pe_handle to pointer. 

typedef struct st_datablk_processor_params
{
  int                      dbp_task_priority;  ///< desired task priority
  QueueHandle_t           *p_dbp_task_inQ;     ///< input queue handle
  int                      num_pes;         ///< number of PEs for this thread
  datablk_pe_descriptor_t  *p_descr;        ///< array of thread PE configurations
  int                      stack_depth;     ///< depth of stack needed for this thread
  char                    *dbp_task_name;    ///< datablock processor task name string
  xTaskHandle             *datablk_pe_handle;  /****** Edited here ********/
} datablk_processor_params_t ;

• datablk_processor.c：

// Remove the Ampersand sign in order be compatible with the pointer operator. 
xTaskCreate ( datablk_processor_task,
                  p_dbp_params->dbp_task_name,
                  p_dbp_params->stack_depth,  
                  p_dbp_params,
                  p_dbp_params->dbp_task_priority, 
                  p_dbp_params->datablk_pe_handle   /****** Edited here ********/
                );

4）為以下任務添加功能：

• 初始化定時器：

void timer_init(void)
{
	  if (!idealtimer) {
		  idealtimer = xTimerCreate
	                (
	                   "idealTimer",
	                   IDEAL_TIMER_PERIOD, // 10 ticks = ~10ms
	                   pdTRUE,            // auto-reload when the timer expires
	                   (void *)0,
	                   idealTimer_Callback
	                );
	  }
	  if (!worktimer) {
		  worktimer = xTimerCreate
	                (
	                  "workTimer",
			   WORK_TIMER_PERIOD, // 10 ticks = ~10ms
	                   pdTRUE,            // auto-reload when the timer expires
	                   (void *)0,
	                   workTimer_Callback
	                );
	  }
}

• 每個計時器到期后要調用的回調函數：

void workTimer_Callback (TimerHandle_t timHandle)
{
	max_class_print();
	vTaskSuspend(xTobeParsed);
	TimerStart(1);
	uart_tx_raw_buf(UART_ID_SSI,"\r\nSleeping",10);
	Xbee_Sleep_Config(1);
	TimerStop(0);
}

void idealTimer_Callback(TimerHandle_t timHandle)
{
	vTaskResume(xTobeParsed);
	TimerStart(0); //work start
	Xbee_Sleep_Config(0);
	TimerStop(1);  // ideal stop
	HAL_DelayUSec(1000);
	uart_tx_raw_buf(UART_ID_SSI,"\r\nInferencing",13);
}

• 啟動和停止定時器的功能：

void TimerStart(bool timer_select)
{
  BaseType_t  status;
  if (timer_select)  {
    status = xTimerStart (idealtimer, 0);                // start timer
    if (status != pdPASS)  {
      // Timer could not be started
    	uart_tx_raw_buf(UART_ID_SSI, "\r\n start ideal timer failed\r\n", 30);
    }
  }
   else
   {
	status = xTimerStart (worktimer, 0);                // start timer
	if (status != pdPASS)  {
	// Timer could not be started
	uart_tx_raw_buf(UART_ID_SSI, "\r\n start work timer failed\r\n", 30);
	}
  }
}

void TimerStop(bool timer_select)
{
  if (timer_select) {
    xTimerStop(idealtimer, 0);
  }
  else {
    xTimerStop(worktimer, 0);
  }
}

• 配置 Xbee 睡眠??模式：

void Xbee_Sleep_Config(bool enable_sleep) {
	IO_MUX->PAD_6_CTRL = 0x103;
	// Pull the Pin 6 to 3.3v, which is
	// connected o PIN9 on Xbee
	if(enable_sleep)
		HAL_GPIO_Write(GPIO_0, 1);
	else
		HAL_GPIO_Write(GPIO_0, 0);
}

我們需要將設備波特率與 XBee 模塊的波特率相匹配，以便通過 UART 建立通信。訪問以下鏈接以設置 XBee 模塊并更改App/src/qf_hardwaresetup.c文件中的uart_setup()函數中的brate參數。完整的項目源代碼在 github 上，這里是它的鏈接：

https://github.com/Pratyush-Mallick/qorc-sdk.git

低功耗優化：

QORC SDK 中的低功耗模式是通過利用 FreeRTOS 無滴答 IDLE 節能技術實現的。當 FreeRTOS 中沒有活動任務時，只有 IDLE 任務處于活動狀態并導致 CPU 進入睡眠狀態。Quicklogic 有一個關于這個主題的指導性良好的文檔。該頁面可以在這里找到

測量嵌入式系統的功耗是一項越來越困難的任務，然而，Nordic Semiconductor Power Profiler Kit II (PPK2)使其成為一種無縫體驗。我們在源模式下測量了系統的電流消耗，即被測設備 (DUT)由 PPK2 供電。安裝Power Profiler 應用程序，將 PPK2 上的 VOUT 連接到快速引出板上的 VBAT，同時接地，一切順利。

以下是 3.3 伏特的平均功耗（1 分鐘）觀察結果，睡眠周期為 10 秒，識別時間為 2 秒：

• 僅 Quickfeather：6mA
• 只有 Quickfeather (DFS)：7mA（可以通過在 Fw_global_config.h 文件中將 #define CONST_FREQ 設置為 1 來啟用動態頻率縮放）
• 僅 Xbee（無睡眠）：31mA
• 僅 Xbee（啟用睡眠）：1.97mA（本指南可以幫助您配置 XBee 睡眠??模式）
• Quickfeather + Xbee（無睡眠）：36mA
• Quickfeather（DFS）+ Xbee（睡眠）：7mA

通過在 s3x_pwrcfg.c 文件中將睡眠策略節點時鐘配置為 256 kHz，我可以通過在固件端進行以下更改來實現至少 3mA。

我想將功耗降到最低，因此聯系了 Quicklogic 和 SensiML 團隊。這是他們不得不說的：

“在保持最佳性能的同時降低功耗需要大量開發和微調。如果不清楚了解模型尺寸、傳感器 ODR（僅 IMU 或音頻) 等。為了進一步降低功耗，FW 需要將所有未使用的組件（特定于用例）置于最低功耗模式。當前 FW 沒有解決這個問題。

但是，他們確實為我提供了以下指導，我將在未來的開發中納入這些指導：

• 在當前的 SimpleStreaming 應用程序中，CONST_FREQ 設置為提供最大性能。在這種情況下，有兩種功耗模式：睡眠和活動。睡眠狀態是 S3 M4 進入 WFI 模式，同時 S3 IP 在緩沖區中收集傳感器數據。活動狀態是 M4 運行算法或設置硬件以傳輸數據時。M4 活動時間取決于知識包數據的算法。
• 對于 Active，S3 內核消耗 ~5.67mW (@ 1.8V)；# 不包括 S3 IO 消耗和傳感器。
• 對于 WFI，S3 內核消耗 ~ 0.370uW (@1.8V)；# 不包括 S3 IO 消耗和傳感器。
• 對于 EOS S3，在更改 HOSC 頻率時，需要重新配置所有時鐘網絡分頻器更新以獲得正確的輸出時鐘頻率。

以下是戶外測試期間的一些圖片和視頻

?

?

?

?

云網關和短信提醒：

我們的云網關由連接到互聯網的個人計算機和通過 UART 連接到 PC 的 Xbee 協調器組成。在 PC 上運行的 python 腳本通過 UART 從 Xbee Coordinator 獲取數據，對其進行處理，然后將其轉發到ThingSpeak云以進行進一步的可視化和分析。您可以在youtube上觀看此視頻以開始使用 thingspeak。

一旦我們開始在云上成功接收數據，如果檢測到非法伐木，我們將需要一個觸發機制來發送警報短信。幸運的是，Thingspeak 有一個ThingHTTP 應用程序，可以在設備、網站和 Web 服務之間進行通信，而無需在設備級別實現協議。我們將使用這個應用程序來觸發可以發送自動電子郵件和 SMS的Twilio API。由于 ThingSpeak 基于 Matlab，因此我們需要在 Matlab 中編寫此過程。訪問以下鏈接以開始使用ThingHTTP和Twilio帳戶。我在這篇博客的末尾附上了 python 和 Matlab 代碼。

這里是顯示快速羽化睡眠狀態、識別等級和設備位置的公共頻道的鏈接：https ://thingspeak.com/channels/1370213

關鍵時刻：

恭喜你完成了這個項目。！讓我們擁抱最終的原型。這是一個演示設備完整工作的視頻。

未來范圍：

以下是我計劃在下一次修訂中完成的任務列表（非常感謝任何形式的幫助）：

• 將睡眠模式下的電流消耗降低到微安范圍內。
• 通過利用連接到 VBAT 引腳的 ADC 引腳添加電池電量監控功能。
• 為森林火災檢測添加一個氣體傳感器。
• 更好的太陽能電池板，例如來自epshine或powerfilm的太陽能電池板。
• 來自e-peas或matrixindustries的更好的升壓轉換器