描述

情況

在現(xiàn)代農(nóng)業(yè)和林業(yè)方面，植物病理學(xué)研究對于作物改良非常重要。每年，巨大的作物因病原體的侵襲而受損。在大多數(shù)情況下，農(nóng)民和普通人由于嚴(yán)重的病原侵染而遭受巨大損失。對于作物改良，首要的關(guān)鍵點(diǎn)是病害識別。正確識別疾病后，我們將能夠治療疾病。大多數(shù)案例以實驗室為導(dǎo)向的研究是耗時且非常消耗性的，但使用現(xiàn)代技術(shù)即時識別植物病害及其致病生物是最合適、成本有效且真實的。這種類型識別方法將幫助我們通過適當(dāng)?shù)目刂拼胧┳R別疾病。

根據(jù)維基百科，農(nóng)藥的影響包括農(nóng)藥對非目標(biāo)物種的影響。農(nóng)藥是用于殺死真菌或動物害蟲的化學(xué)制劑。超過98%的噴灑殺蟲劑和 95% 的除草劑到達(dá)目標(biāo)物種以外的目的地，因為它們被噴灑或散布在整個農(nóng)田。徑流可以將殺蟲劑帶入水生環(huán)境，而風(fēng)可以將它們帶到其他田地、放牧區(qū)、人類住區(qū)和未開發(fā)地區(qū)，可能影響其他物種。其他問題源于不良的生產(chǎn)、運(yùn)輸和儲存做法。隨著時間的推移，重復(fù)施用會增加害蟲的抵抗力，而它對其他物種的影響會促進(jìn)害蟲的死灰復(fù)燃。

每種殺蟲劑或殺蟲劑類別都有一組特定的環(huán)境問題。這種不良影響導(dǎo)致許多殺蟲劑被禁用，而法規(guī)限制和/或減少了其他殺蟲劑的使用。農(nóng)藥使用的全球傳播，包括使用在某些司法管轄區(qū)已被禁止的舊/過時農(nóng)藥，總體上有所增加。

因此，我們可以得出結(jié)論，盡管殺蟲劑和殺蟲劑非常有用，但現(xiàn)在正相反，即危害性正在迅速增加。

主意

所以重點(diǎn)出現(xiàn)了——“我們可以做些什么來控制農(nóng)藥的使用？”。

在這里，我們應(yīng)該記住一件事，我們需要建立一個可以降低甚至可能追蹤農(nóng)藥使用的系統(tǒng)，因為出于一些明顯的原因，我們無法將其降低以維持農(nóng)業(yè)工業(yè)。

理論

在我們的項目中，我們將使用稱為體溫調(diào)節(jié)的溫血哺乳動物的特征和特征。這是一張顯示體溫調(diào)節(jié)存在并由紅外掃描儀相機(jī)掃描的圖像 -

所以基本上我們將使用 balenaFin 使用 AMG8833 傳感器攝像頭進(jìn)行掃描，它會顯示那里是否存在害蟲。然后它會告訴我們在哪里準(zhǔn)確噴灑殺蟲劑或殺蟲劑，在哪里不應(yīng)該噴灑。

硬件

balena鰭

balenaFin 的設(shè)計考慮了現(xiàn)場部署。它是 Raspberry Compute Module 3 和 3+ Lite (CM3L/CM3+L) 的載板，可以運(yùn)行 Raspberry Pi 可以運(yùn)行的所有軟件，并針對現(xiàn)場部署用例進(jìn)行了強(qiáng)化。

樹莓派計算模塊

balenaFin 支持 Raspberry Pi 計算模塊 3 和 3+ lite (CM3L/CM3+L)。

貯存

balenaFin 上的存儲基于工業(yè)級 eMMC 存儲，提供 8GB、16GB、32GB 和 64GB 選項。

力量

balenaFin 具有寬輸入電壓范圍 (6V-24V)，特別適用于通常無法提供可靠 5V 的應(yīng)用。

協(xié)處理器

balenaFin 包括一個支持藍(lán)牙的低功耗協(xié)處理器（32 位 ARM? Cortex M4）。協(xié)處理器可以單獨(dú)運(yùn)行或并行運(yùn)行，并允許以編程方式打開和關(guān)閉主處理器。這在需要低功耗或?qū)崟r處理的應(yīng)用中特別有用。

連接性

balenaFin 的無線芯片支持 802.11ac/a/b/g/n WiFI 和藍(lán)牙 4.2（包括 SMART 功能）。板上包含一個雙頻嵌入式天線和一個用于改善信號覆蓋范圍的外部天線連接器。

輸入輸出

balenaFin 上的 Mini PCI Express 端口為許多不同的模塊帶來了無縫連接。第三方模塊可用于 LTE、Zigbee、LoRA 和 CANBus，并且可以通過利用 mini PCI Express 連接器上的 USB 接口來實現(xiàn)額外的存儲（這可能需要定制設(shè)計）。balenaFin HAT 接頭可用于連接任何 Raspberry Pi HAT 兼容模塊（PoE、RS232、ZWave 等）。一個較小的 18 針接頭暴露了協(xié)處理器的模擬和時間敏感 I/O。V1.1 包括一個額外的 4 針 USB 接頭，允許無線設(shè)計應(yīng)用，例如附加存儲、輔助以太網(wǎng)端口、多媒體閱讀器、附加無線電接口等。

樹莓派計算模塊 3+ Lite

CM3+ 計算模塊包含 Raspberry Pi 3 Model B+（BCM2837 處理器和 1GB RAM）以及可選的 8GB、16GB 或 32GB 的 eMMC 閃存設(shè)備（相當(dāng)于 Pi 中的 SD 卡）。

所有這些都集成到一個小型 (67.6mm × 31mm) 板上，該板適合標(biāo)準(zhǔn) DDR2 SODIMM 連接器。閃存直接連接到板上的處理器，但其余處理器接口可通過連接器引腳供用戶使用。您可以獲得 BCM2837 SoC 的全部靈活性（這意味著比標(biāo)準(zhǔn) Raspberry Pi 提供更多的 GPIO 和接口），并且將模塊設(shè)計到自定義系統(tǒng)中應(yīng)該相對簡單，因為我們已經(jīng)將所有棘手的部分都放到了模塊本身。這需要與balenaFin連接。

Adafruit AMG8833 紅外攝像機(jī)分線模塊

Panasonic 的這款傳感器是 8x8 紅外熱傳感器陣列。當(dāng)連接到您的微控制器（或 Raspberry Pi）時，它將通過 I2C 返回一組 64 個單獨(dú)的紅外溫度讀數(shù)。它就像那些花哨的熱像儀，但足夠緊湊和簡單，易于集成。

該部件將測量范圍從 0°C 到 80°C（32°F 到 176°F）的溫度，精度為 +- 2.5°C (4.5°F)。它可以在最遠(yuǎn) 7 米 (23) 英尺的距離內(nèi)檢測到人。最大幀速率為 10Hz，非常適合創(chuàng)建自己的人體探測器或迷你熱像儀。我們有在 Arduino 或兼容設(shè)備（傳感器通過 I2C 通信）或在帶有 Python 的 Raspberry Pi 上使用此分線器的代碼。在 Pi 上，借助 SciPy python 庫的一些圖像處理幫助，我們能夠插入 8x8 網(wǎng)格并獲得一些非常好的結(jié)果！

AMG8833 是 Panasonic 的下一代 8x8 熱紅外傳感器，提供比其前身 AMG8831 更高的性能。該傳感器僅支持 I2C，并且具有可配置的中斷引腳，當(dāng)任何單個像素高于或低于您設(shè)置的閾值時，該引腳可以觸發(fā)。

英特爾神經(jīng)計算棒 2

英特爾神經(jīng)計算棒 2 由英特爾 Movidius X VPU 提供支持，可提供行業(yè)領(lǐng)先的性能、功率和功率。NEURAL COMPUTE 支持 OpenVINO，這是一個加速解決方案開發(fā)和簡化部署的工具包。神經(jīng)計算棒 2 提供即插即用的簡單性，支持通用框架和開箱即用的示例應(yīng)用程序。使用任何帶有 USB 端口的平臺進(jìn)行原型設(shè)計和操作，無需依賴云計算。與前幾代產(chǎn)品相比，英特爾 NCS 2 每秒可提供 4 萬億次操作，性能提升 8 倍。

它能做什么：

借助英特爾 NCS 2 的增強(qiáng)功能，可以輕松將計算機(jī)視覺和人工智能引入物聯(lián)網(wǎng) (IoT) 和邊緣設(shè)備原型。對于開發(fā)智能相機(jī)、無人機(jī)、工業(yè)機(jī)器人或下一個必備智能設(shè)備的開發(fā)人員而言家用設(shè)備，英特爾 NCS 2 提供更快、更智能的原型制作所需。

看起來像標(biāo)準(zhǔn) USB 拇指驅(qū)動器的東西隱藏在里面。英特爾 NCS 2 由最新一代的英特爾 VPU——英特爾 Movidius Myriad X VPU 提供支持。這是第一個具有神經(jīng)計算引擎的產(chǎn)品——專用硬件神經(jīng)網(wǎng)絡(luò)推理加速器可提供額外的性能。結(jié)合支持更多網(wǎng)絡(luò)的英特爾分發(fā)版 OpenVINO 工具套件，英特爾 NCS 2 為開發(fā)人員提供了更大的原型設(shè)計靈活性。此外，多虧了英特爾 AI：在生產(chǎn)生態(tài)系統(tǒng)中，開發(fā)人員現(xiàn)在可以將他們的英特爾 NCS 2 原型移植到其他外形尺寸并產(chǎn)品化他們的設(shè)計。

這個怎么運(yùn)作：

借助筆記本電腦和英特爾 NCS 2，開發(fā)人員可以在幾分鐘內(nèi)啟動并運(yùn)行他們的 AI 和計算機(jī)視覺應(yīng)用程序。英特爾 NCS 2 在標(biāo)準(zhǔn) USB 3.0 端口上運(yùn)行，不需要額外的硬件，使用戶能夠無縫轉(zhuǎn)換 PC 訓(xùn)練模型，然后將其本地部署到各種設(shè)備，無需互聯(lián)網(wǎng)或云連接。

第一代英特爾 NCS 于 2017 年 7 月推出，已為數(shù)以萬計的開發(fā)人員社區(qū)提供了動力，已在 700 多個開發(fā)人員視頻中進(jìn)行了專題介紹，并已在數(shù)十篇研究論文中得到使用。現(xiàn)在，憑借 NCS 2 的更高性能，英特爾正在幫助 AI 社區(qū)創(chuàng)建更雄心勃勃的應(yīng)用程序。

特征：

提高生產(chǎn)力：

• 以低成本減少對具有多功能硬件處理能力的神經(jīng)網(wǎng)絡(luò)進(jìn)行原型設(shè)計或調(diào)整的時間。
• 與原始英特爾 Movidius 神經(jīng)計算棒相比，增強(qiáng)的硬件處理能力。
• 利用 16 個內(nèi)核而不是 12 個內(nèi)核以及一個神經(jīng)計算引擎，一個專用的深度神經(jīng)網(wǎng)絡(luò)加速器。
• 深度神經(jīng)網(wǎng)絡(luò)推理的性能提升高達(dá) 8 倍，具體取決于網(wǎng)絡(luò)。
• 可負(fù)擔(dān)性加速了深度神經(jīng)網(wǎng)絡(luò)的應(yīng)用。
• 改變 AI 開發(fā)工具包體驗。
• 即插即用的簡單性。
• 實惠的價格點(diǎn)。
• 支持通用框架，包括開箱即用和快速開發(fā)。

發(fā)現(xiàn)效率：

• 卓越的每瓦性能將機(jī)器視覺帶到了新的領(lǐng)域。
• 在不依賴云計算連接的情況下“在邊緣”運(yùn)行。
• 深度學(xué)習(xí)原型現(xiàn)在可以在筆記本電腦、單板計算機(jī)或任何帶有 USB 端口的平臺上使用。
• 易于使用且價格合理——利用更高的每瓦性能和高效的無風(fēng)扇設(shè)計。
• 結(jié)合英特爾? Movidius? Myriad? X VPU 的硬件優(yōu)化性能和英特爾? Distribution of OpenVINO”工具包，加速基于深度神經(jīng)網(wǎng)絡(luò)的應(yīng)用程序。
• 在同類產(chǎn)品中率先采用神經(jīng)計算引擎——一個專用的硬件加速器。
• 16 個強(qiáng)大的處理內(nèi)核（稱為 SHAVE 內(nèi)核）和超高吞吐量智能內(nèi)存結(jié)構(gòu)共同使英特爾 Movidius Myriad X VPU 成為設(shè)備上深度神經(jīng)網(wǎng)絡(luò)和計算機(jī)視覺應(yīng)用的行業(yè)領(lǐng)導(dǎo)者。
• 在芯片上具有全新的深度神經(jīng)網(wǎng)絡(luò) (DNN) 推理引擎。

原型設(shè)計更簡單的多功能性：

• 英特爾分發(fā)的 OpenVINO 工具套件簡化了開發(fā)體驗。
• 在英特爾神經(jīng)計算棒 2 上制作原型，然后將您的深度神經(jīng)網(wǎng)絡(luò)部署到基于英特爾 Movidius Myriad X VPU 的嵌入式設(shè)備上。
• 簡化工作原型的路徑。
• 跨英特爾硬件擴(kuò)展工作負(fù)載并最大化性能。
• 強(qiáng)大的英特爾 Distribution of OpenVINO 工具套件可簡化模擬人類視覺的應(yīng)用程序和解決方案的移植和部署。
• 英特爾發(fā)布的 OpenVINO 工具套件簡化了多平臺計算機(jī)視覺解決方案的開發(fā)——提高了深度學(xué)習(xí)性能。
• 現(xiàn)在，跨英特爾加速技術(shù)套件開發(fā)異構(gòu)執(zhí)行應(yīng)用程序變得更加容易。一次開發(fā)并在英特爾 CPU、VPU、集成顯卡或 FPGA 上進(jìn)行部署。
• 如果需要，用戶可以實現(xiàn)自己的自定義層并在 CPU 上執(zhí)行這些層，而模型的其余部分在 VPU 上運(yùn)行。

軟件

Raspbian（目前為 Raspberry Pi 操作系統(tǒng)）

它是基金會官方支持的操作系統(tǒng)。

Raspberry Pi OS 預(yù)裝了大量用于教育、編程和一般用途的軟件。它有 Python、Scratch、Sonic Pi、Java 等等。

ZIP 存檔中包含的帶有桌面映像的 Raspberry Pi OS 大小超過 4GB，這意味著這些存檔使用某些平臺上的舊解壓縮工具不支持的功能。

注意：這里我們必須使用專門為 balenaFin 設(shè)計的 Raspbian Image。從這里下載。

balena蝕刻機(jī)

balenaEtcher 是一個免費(fèi)的開源實用程序，用于將圖像文件（如 .iso 和 .img 文件）以及壓縮文件夾寫入存儲介質(zhì)以創(chuàng)建實時 SD 卡和 USB 閃存驅(qū)動器。它由 balena 開發(fā)，并在 Apache License 2.0 下獲得許可。從這里下載。

OpenVINO

OpenVINO 工具包是一個免費(fèi)工具包，可促進(jìn)從框架優(yōu)化深度學(xué)習(xí)模型，并使用推理引擎將其部署到英特爾硬件上。它是用 Python 和 C++ 編寫的。

解釋與工作

所以這里是我們項目的基本演示，在一段中解釋。因此，首先將 AMG8833 相機(jī)傳感器板連接到 balenaFin，并且英特爾神經(jīng)計算棒 2 需要連接到 Pi 以提高模型的性能并使用英特爾的 OpenVino 對其進(jìn)行訓(xùn)練。下面通過 GIF 解釋了傳感器的使用。

現(xiàn)在，由 Fin 組成的完整設(shè)備將放置在金屬棒的底部（例如金屬探測器中的一個），如下所示。

評估

如果像巢這樣的大型熱源不明顯，敏感的熱像儀可能能夠檢測到不規(guī)則的熱模式、水分和其他表明存在害蟲的損壞跡象，例如缺少絕緣層或墻壁上的孔表明存在害蟲。入口點(diǎn)。了解要查找的模式需要培訓(xùn)和練習(xí)，因為很容易錯誤地解釋圖像。

以下是嘗試定位以下常見入侵者時要尋找的一些指標(biāo)：

白蟻

白蟻巢穴可能作為熱點(diǎn)可見（左），而白蟻隧道的水分含量很高，可以通過熱成像（右）檢測到。

通過尋找巢穴、水分來源和墻壁損壞的證據(jù)可以找到白蟻。當(dāng)白蟻進(jìn)入家中時，它們會以二氧化碳的形式從消化系統(tǒng)中釋放熱量，并建造含水量高的泥管，從而在墻壁、天花板和地板的表面形成不規(guī)則的熱量模式。

嚙齒動物

嚙齒動物（如左側(cè)的負(fù)鼠）或它們的巢穴可能是可見的，或者野生動物活動可能會留下諸如缺少絕緣材料（右）之類的線索。

嚙齒動物和其他野生動物可能會形成可以被檢測到的巢穴，或者可能已經(jīng)損壞了墻壁或移動了絕緣層，并產(chǎn)生了可以在熱環(huán)境中看到的冷點(diǎn)。夜間出現(xiàn)的夜間動物也可以通過熱成像進(jìn)行追蹤，該熱成像在完全黑暗的環(huán)境中工作。

大黃蜂和其他社會昆蟲

大黃蜂巢顯示為熱的熱點(diǎn)。

昆蟲是冷血動物，但它們確實會產(chǎn)生熱量。黃蜂巢、蜂巢或其他大型群居昆蟲的熱量通常會產(chǎn)生足夠的熱量，從而被熱像儀檢測到。

1)使用以下電路連接將 AMG8833 IR Camera Sensor Breakout 連接到 Raspberry Pi -

balenaFin AMG8833 IR Camera

3V3 VIN

GND GND

GPIO 2 SDA

GPIO 3 SCL

GPIO 4 INT

2)從此鏈接安裝 Intel OpenVino Toolkit 。

3)按照本教程下載并在連接英特爾 Movidius 神經(jīng)計算棒 2 的 balenaFin 上運(yùn)行演示。

4)或者，如果您想在英特爾 PC 上部署它，請按照我制作的指南進(jìn)行操作。

5)從 Internet 上可用的各種資源中收集熱數(shù)據(jù)，例如。或者，您可以在使用紅外攝像機(jī)時收集您自己的自定義圖像數(shù)據(jù)。

6)您可以在 OpenVino SDK 本身中訓(xùn)練您的模型，也可以使用Google Colab或Jupyter Notebooks來訓(xùn)練。

7)然后您可以使用 OpenVino 團(tuán)隊的本教程和指南將此數(shù)據(jù)導(dǎo)出到 OpenVino SDK 開發(fā)平臺。

訓(xùn)練模型

第 1 部分 - 區(qū)分豆娘和蝴蝶

我們正在使用Google 的 Teachable Machine來訓(xùn)練能夠在豆娘和蝴蝶之間進(jìn)行分類的模型。

第1 步 -首先從我們的 Google Drive 下載蝴蝶和豆娘的熱圖像。

蝴蝶數(shù)據(jù)集

豆娘數(shù)據(jù)集

第 2 步 -并按照以下步驟開始訓(xùn)練數(shù)據(jù)。

第 3 步 -單擊 Image Project，然后在 Class 1 和 Class 2 框中分別將它們命名為 Damselfly 和 Butterfly，如下所示。

第 4 步 -通過我們 Google Drive 中提供的圖像訓(xùn)練數(shù)據(jù)。您可以從文件上傳，也可以使用網(wǎng)絡(luò)攝像頭，然后通過顯示來自手機(jī)的圖像進(jìn)行訓(xùn)練，如下所示。

第 5 步 -然后單擊屏幕中間的訓(xùn)練模型按鈕。等待一段時間，然后它將開始訓(xùn)練模型。

對數(shù)據(jù)進(jìn)行分類

成功訓(xùn)練后，它將彈出并打開您的網(wǎng)絡(luò)攝像頭進(jìn)行實時分類，如下所示。

然后單擊屏幕頂部的導(dǎo)出模型選項。點(diǎn)擊后會顯示如下畫面。

然后點(diǎn)擊 TensorFlow Lite 選項，如下圖所示。

恭喜！您已在網(wǎng)絡(luò)上成功訓(xùn)練和分類模型。現(xiàn)在是時候在硬件上運(yùn)行它了。

在硬件上運(yùn)行

在這里，我們正在測試兩種情況：

使用 Google Coral USB 加速器在 balenaFin 上運(yùn)行

Coral USB 加速器使用 Coral Edge TPU ，因此在 TensorFlow Lite 環(huán)境中運(yùn)行時增加了模型。

步驟1

按照Coral 的官方說明安裝 edgetpu 庫

第2步

pip 像這樣安裝以下軟件包：

pip3 install Pillow opencv-python opencv-contrib-python

第 3 步

從 TM2 下載模型

第4步

使用我們存儲庫中的此代碼來運(yùn)行模型

使用英特爾神經(jīng)計算棒在 balenaFin 上運(yùn)行

由于硬件和軟件的限制，未完成:(

制作這個項目時面臨的限制

在閱讀了這個項目帖子后，你們中的大多數(shù)人會詢問我們在 NCS 2 上運(yùn)行的部分。好吧，我們在開發(fā)這個項目時遇到了一些嚴(yán)峻的情況。以下是一些 -

1）我們沒有人在家里有熱敏/紅外相機(jī)。我們通過為我們收集一些圖像數(shù)據(jù)在許多地方尋求幫助。沒有一個論壇或地方這樣做。所以我（Arijit）必須閱讀 2 篇完整的研究論文才能獲得一些豆娘和蝴蝶的熱圖像數(shù)據(jù)。我們只得到了 2 種類型的熱圖像，然后我們降低了它的亮度，然后把它變成了大約 650 張圖像來訓(xùn)練模型。

2)包括 David W 和 Sahaj Sarup 在內(nèi)的我們都沒有 NCS 。最后，我們得到了 David Tischler 的幫助，他慷慨地提供了與 Movidius 棒 (NCS 1) 連接的 Pi 4。

3）我們確實制作了我們甚至測試過的模型，它運(yùn)行得非常快，然后模型被轉(zhuǎn)換為 TensorFlow Lite 模型。

4）我們幾乎沒有時間花在樹莓派上，而且由于我們來自不同的時區(qū)，我們在進(jìn)行一些討論和談話方面也遇到了困難。

5）自從我們獲得對 Pi 的訪問權(quán)限以來，我們連續(xù)嘗試了 2 天。但是我們無法使模型轉(zhuǎn)換為 OpenVINO 并使其啟動并運(yùn)行:(

分步說明

1. 作為第一步，我們將掃描并通過將 AMG8833 攝像頭傳感器分線板連接到鰭來獲取數(shù)據(jù)。

2. 使用 Intel 的 OpenVino 軟件進(jìn)行所需的分析，它會得到加速，即 fps（每秒幀數(shù)）速度會逐漸提高。

3. 然后對該區(qū)域進(jìn)行全面掃描，然后鰭將引導(dǎo)農(nóng)民將殺蟲劑放置在哪里以便更好地使用。

演示視頻

您還可以在這里查看并試用我們托管在 Teachable Machine 網(wǎng)站上的模型。

特征

1、成本低，使用方便。

2. 無需技術(shù)背景即可使用此設(shè)備

3. 能夠在農(nóng)業(yè)中正確使用化學(xué)品。

4. 預(yù)防因噴灑不需要的化學(xué)物質(zhì)而引起的有害疾病。

未來的工作

為了進(jìn)一步發(fā)展，我們正在考慮使用一些高功率相機(jī)，即使它們正在飛行，它們甚至能夠跟蹤和分類害蟲。我們正在考慮降低成本，甚至試圖讓我們的模型在廉價的安卓手機(jī)上運(yùn)行，??并連接一個廉價的熱像儀，這將幫助貧困農(nóng)民輕松購買和使用這項技術(shù)來改善人類生活。

-X-

感謝您查看我們的項目。如果您有任何疑問，請不要忘記下拉任何關(guān)于查詢或任何問題的評論。我們將嘗試肯定地回答他們:)

?