色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

電子發燒友App

硬聲App

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示
電子發燒友網>電子資料下載>電子資料>Agouti智能防風雨的聲學監測設備

Agouti智能防風雨的聲學監測設備

2022-10-20 | zip | 0.55 MB | 次下載 | 免費

資料介紹

描述

?

動機與背景

傳統的基于視覺的野生動物監測方法受到天氣條件、相機的視野、目標生物的大小及其接近程度的限制。可以通過其他渠道更可靠地監測野生動物的替代技術有很大的空間:如聲學監測。

聲學監測為監測野生動物提供了一種可靠、低成本且可擴展的替代方案,并具有檢測有害人類活動的額外好處:雖然偷獵和伐木可能無法看到,但它們更容易聽到。

當然,聲學監測并不是一個新概念。但是,大多數產品只記錄;他們不分析。這會產生大量原始數據,超出研究人員單獨分析的人力。目前,保護組織經常求助于大型科技公司來處理他們的原始數據。這不僅使保護主義者處于被動狀態,將重點放在歷史數據上,而且還為小規模的地方保護工作構成了重大障礙。此外,這也阻礙了聲學監測系統充當警報的潛力。

Agouti:我們的產品

鑒于這些考慮,Agouti 是一款智能、防風雨的聲學監測設備,可以輕松部署用于音頻數據的記錄和分析。

我們使用 edgeML 來自動標記關鍵事件類的麥克風數據,例如昆蟲聲音和鳥鳴、人類活動(例如車輛)和日志記錄(例如電鋸噪音),并將這些標簽與其各自的音頻一起存儲以供人工檢查。我們還記錄溫度、濕度和光傳感器的讀數,以將音頻與現實世界聯系起來,準確量化環境如何影響物種的行為。

Agouti 廣泛涉及“挑戰 2:野生動物/生物多樣性保護”。具體來說,我們同時解決兩個問題:

  • 對瀕臨滅絕的野生動物進行非侵入式監控:我們的聲學記錄系統會定期對其周圍的音景進行 5 秒的錄音,然后對其進行分析并與音頻一起存儲。
  • 人類與野生動物沖突預防/緩解:通過檢查音頻中的可疑活動聲音(如伐木或運輸噪音),我們可以檢測對環境有害的非法活動。

簡而言之,刺豚鼠

pYYBAGNQkf2AHxdaAAQyoO-gOWo177.png
?

因此,如上所示,Agouti 使用 Wio 終端來收集數據和顯示預測,而 Raspberry Pi 用于處理和存儲數據。我們決定使用 Raspberry Pi 有兩個原因

1. 我們嘗試的一些更簡單的模型根本無法以合理的準確度進行音頻分析。所以我們不得不使用一個太大而無法在 Wio 上運行或運行的 AI 模型,但又足夠小以適應 RPi。

2. RPi 可以寫入容量遠大于 Wio 16GB SD 卡槽的 USB 存儲設備。

現在,讓我們來看看我們是如何創建 Agouti 的。此處引用的所有代碼和其他支持文件都可以在我們的GitHub存儲庫中訪問,其中包含設置我們系統每個部分的詳細說明。

第 1 部分:人工智能訓練

這是最難的一點。我們嘗試了許多各種規模的模型架構,最終我們堅持的方法是遷移學習與訓練新模型相反,遷移學習顯著減少了所需的訓練時間和資源。通過利用預訓練模型的高級模型架構,它還可以提高準確性。

對于我們的訓練,我們使用了谷歌的預訓練模型YAMNet YAMNet 分析輸入音頻數據的 Mel Spectrogram,這是一個根據人類聽覺對不同頻率的敏感度有偏差的頻譜圖。它是一個主要由卷積層組成的模型,在 Google 的 AudioSet 數據集上進行訓練,并輸出對應于 521 個預定義類中的每一個的分數數組。

然后我們選擇了另一個數據集ESC-50 ,它主要包含環境噪聲,因此更適合我們的目的。這里的音頻數據為 5s 16khz。YAMNet 從音頻生成嵌入,我們在這些嵌入上訓練最終分類器。因為 YAMNet 將音頻數據切成 0.96 秒的幀,所以我們 5 秒的記錄產生了一個嵌入數組。為了解決這個問題,我們采用了一個 128 單元的 LSTM 模型,該模型對這個數據數組進行循環操作。

為了進一步提高我們模型的魯棒性,我們添加了音頻增強:時間軸的拉伸/壓縮、頻率調制、隨機噪聲的混合、諧波失真等。這不可避免地會降低訓練時的準確性,但會在訓練中獲得更好的性能應用。

為了使模型的最終預測更加直觀,我們還創建了模型混合內容的混淆矩陣。如下所示:

pYYBAGNQkgCABnunAAC9MQrAaD8833.png
所以,它做得很好(我們計劃改進大約 60% 的驗證準確度)
?

一旦最終的分類器層被訓練出來,我們就對其進行量化并將其轉化為可以在 Pi 上輕松運行的 TFlite 模型。

您可以在此處使用我們在 Google Colab 上的實際實現

以下是人工智能分析 YouTube 音頻的一些片段:

?

第 2 部分:Wio + RPi 串行

我們非常感謝 Seeed Studios 為我們提供免費的 SenseCAP K1100 傳感器原型套件。我們使用 Wio 終端從其內置的光傳感器和 microhpone 以及附加的 Grove SHT40 溫度和濕度傳感器中獲取讀數。

您會記得,Wio 終端負責所有傳感器數據并通過其麥克風記錄音頻,而 Raspberry Pi 運行大型 AI 聲學模型(太大而無法安裝在 Wio 上)并使數據能夠存儲到 USB具有大存儲空間的驅動器兩者之間的通信是通過串口實現的:

  • Raspberry Pi 在啟動時向 Wio 發送命令
  • Wio 抓取傳感器數據并記錄 16k 幀音頻數據,然后將其發送回 Pi。然后 Pi 做了一些事情:
  • Pi 測量 Wio 獲取音頻數據所需的時間,自動校準每幀之間的延遲,以便 Wio 每秒準確返回 16000 幀。
  • Pi 將原始音頻數據轉換為介于 -1 和 1 之間的 numpy 數組,然后將其傳遞給 YAMNet 以提取 YAMNet 預測和嵌入
  • 然后將 YAMNet 嵌入通過我們的自定義模型傳遞以提取更高級別的音頻信息
  • 來自 YAMNet 和我們的自定義模型的預測結合起來給出最終的音頻標簽
  • 如果自上次存儲音頻以來已經過去了足夠長的時間,或者如果音頻被標記為危險,則 Pi 將音頻數據及其預測標簽(作為 JSON)一起寫入 USB
  • Pi 將預測的音頻標簽和校準的延遲時間發送回 Wio
  • Wio 顯示預測的音頻標簽,再次記錄音頻數據(這次使用新的延遲值),然后循環繼續

同樣,我們的 GitHub 存儲庫中提供了設置RPi和 Wio 的完整說明

第 3 部分:外殼

為了保護硬件免受外部環境的破壞,我們在 Onshape 上設計了一個防水外殼,使用 3mm 透明亞克力板,使用激光切割機成型。

我們決定使用亞克力板,因為它們耐用且重量輕,并且具有易于激光切割的額外好處。外殼也是完全透明的,以確保屏幕可見。此外,外殼設計中包含一個小窗口,用于將溫度和濕度傳感器(位于外部)連接到 Wio(位于內部)。保護殼的所有底座部分均采用指接設計,具有很強的穩定性和強度,并最大限度地提高了用于連接和形成整個盒子的丙烯酸水泥的粘合性。

而且……我們做到了!

?
?
?
pYYBAGNQkgWAZVu6AAeGyHKgcds826.jpg
?
1 / 3 ? Agouti 包裝在亞克力外殼內
?

最終產品

這是一段 Agouti 在行動中的視頻,它用背景中的飛機檢測人類噪音:

?

下面是鏈接到音頻文件的 JSON 文件的示例:

{
    "category": "chainsaw", # Final audio tag
    "class": "sawing",      # Big class that tag falls into
    "humidity": 51.6,       # Humidity value
    "light": 170,           # Light sensor value
    "original": "chainsaw", # Prediction from our model
    "temperature": 20.09,   # Temperature value
    "yamnet": [             # YAMNet prediction at each frame
        "Engine",
        "Breathing",
        "Vehicle",
        "Vehicle",
        "Vehicle",
        "Vehicle",
        "Frying (food)",
        "Breathing",
        "Rattle",
        "Engine"
    ]
}

并且...所有音頻文件都已正確存儲到 USB 上:

poYBAGNQkgqAaphmAAnVK1x0eJE500.jpg
USB 上有什么
?

未來的改進

未來,我們設想進行以下更改以改進 Agouti:

  • 支持通過 LoRaWan 發送分析的音頻標簽和傳感器數據,因此可以立即刷新數據和警告(我們確實有準備好通過 Lora 將傳感器數據發送到 Helium 的代碼,但連接存在問題,可能與 Lora 覆蓋有關)
  • 太陽能電池板可實現更長時間的連續運行
  • 使移植的 ML 模型更準確,并且能夠識別更多的音頻類
  • 使用更好的麥克風并以更高的速率采樣

學分

感謝我來自 Team Enigma 的其他 3 位隊友,他們參與了這個項目的開發:

Dylan Kainth主要用于處理硬件的 Wio 方面,建議使用 Pi 以及許多其他事情

Alex Yi主要用于幫助人工智能,研究不同的算法,并提出不同的音頻增強

Mark Zeng設計了機箱并對 Edge Impulse 進行了一些研究


下載該資料的人也在下載 下載該資料的人還在閱讀
更多 >

評論

查看更多

下載排行

本周

  1. 1Keysight B1500A 半導體器件分析儀用戶手冊、說明書 (中文)
  2. 19.00 MB  |  4次下載  |  免費
  3. 2使用TL431設計電源
  4. 0.67 MB   |  2次下載  |  免費
  5. 3BT134雙向可控硅手冊
  6. 1.74 MB   |  2次下載  |  1 積分
  7. 4一種新型高效率的服務器電源系統
  8. 0.85 MB   |  1次下載  |  1 積分
  9. 5LabVIEW環形控件
  10. 0.01 MB   |  1次下載  |  1 積分
  11. 6PR735,使用UCC28060的600W交錯式PFC轉換器
  12. 540.03KB   |  1次下載  |  免費
  13. 751單片機核心板原理圖
  14. 0.12 MB   |  1次下載  |  5 積分
  15. 8BP2879DB支持調光調滅的非隔離低 PF LED 驅動器
  16. 1.44 MB  |  1次下載  |  免費

本月

  1. 1開關電源設計原理手冊
  2. 1.83 MB   |  54次下載  |  免費
  3. 2FS5080E 5V升壓充電兩串鋰電池充電管理IC中文手冊
  4. 8.45 MB   |  23次下載  |  免費
  5. 3DMT0660數字萬用表產品說明書
  6. 0.70 MB   |  13次下載  |  免費
  7. 4UC3842/3/4/5電源管理芯片中文手冊
  8. 1.75 MB   |  12次下載  |  免費
  9. 5ST7789V2單芯片控制器/驅動器英文手冊
  10. 3.07 MB   |  11次下載  |  1 積分
  11. 6TPS54202H降壓轉換器評估模塊用戶指南
  12. 1.02MB   |  8次下載  |  免費
  13. 7STM32F101x8/STM32F101xB手冊
  14. 1.69 MB   |  8次下載  |  1 積分
  15. 8基于MSP430FR6043的超聲波氣體流量計快速入門指南
  16. 2.26MB   |  7次下載  |  免費

總榜

  1. 1matlab軟件下載入口
  2. 未知  |  935119次下載  |  10 積分
  3. 2開源硬件-PMP21529.1-4 開關降壓/升壓雙向直流/直流轉換器 PCB layout 設計
  4. 1.48MB  |  420061次下載  |  10 積分
  5. 3Altium DXP2002下載入口
  6. 未知  |  233084次下載  |  10 積分
  7. 4電路仿真軟件multisim 10.0免費下載
  8. 340992  |  191367次下載  |  10 積分
  9. 5十天學會AVR單片機與C語言視頻教程 下載
  10. 158M  |  183335次下載  |  10 積分
  11. 6labview8.5下載
  12. 未知  |  81581次下載  |  10 積分
  13. 7Keil工具MDK-Arm免費下載
  14. 0.02 MB  |  73807次下載  |  10 積分
  15. 8LabVIEW 8.6下載
  16. 未知  |  65987次下載  |  10 積分
主站蜘蛛池模板: 麻豆精品国产剧情观看| 被高跟鞋调教丨vk| 洲精品无码高潮喷水A片| 浴室里强摁做开腿呻吟的漫画| 一本道久在线综合道| 中国女人内谢69XXXXXA片| 5G在线观看免费年龄确认| 91天仙tv嫩模福利| 国产成人精品综合在线观看| 国产在线精品亚洲二品区| 精品国产精品人妻久久无码五月天| 日产国产欧美韩国在线| 久久久久久免费高清电影| 快播dvd吧| 青柠在线电影高清免费观看| 无码AV动漫精品一区二区免费| 亚洲 欧美无码原创区| 一级做a爰片久久毛片潮喷动漫| 在线日本v二区不卡| 99久久久无码国产精品AAA| 闺蜜撬开我的腿用黄瓜折磨我| 国产自啪偷啪视频在线| 久久综合老色鬼网站| 欧美国产在线一区| 小便japanesewctv| 中文天堂www资源| 97久久伊人精品影院| 97视频在线免费播放| 福利一区国产| 巨污全肉np一女多男| 日本久久免费大片| 亚洲国产货青视觉盛宴| 俄罗斯12x13x处| 久久婷婷久久一区二区三区 | 麻豆AV福利AV久久AV| 肉肉的各种姿势高H细文| 最近中文字幕高清中文字幕MV| 高h 大尺度纯肉 np快穿| 久久理伦片琪琪电影院| 无码人妻精品一区二区蜜桃色欲 | 四房色播手机版|