描述

田野守護者又名 - Buggy QXA3

背景

面對海平面上升和全球變暖的威脅，以及人口的穩(wěn)步增長，農民甚至家庭必須保持農業(yè)產量以保證穩(wěn)定的產品交付。由于野火和颶風等自然災害帶來的殺蟲劑、雜草和空氣毒性，這一直具有挑戰(zhàn)性。雖然商業(yè)農場可能有能力消除大部分危害并擴大規(guī)模以應對中斷的全球供應鏈，但小型工業(yè)化農場主發(fā)揮著至關重要的作用，但他們一直無法做到這一點。得益于低成本硬件和加速人工智能技術，工業(yè)物聯(lián)網和機器人技術將成為徹底改變農業(yè)需求的工具。

靈感

Hovergame 生態(tài)系統(tǒng)將允許早期的人類互動來繪制興趣點、有害昆蟲、不需要的殺蟲劑、雜草，以及早期發(fā)現(xiàn)田間發(fā)生故障的設備。在無人機上進行人工監(jiān)督的早期監(jiān)視和監(jiān)測將使我們能夠由包括農業(yè)研究人員、工程師和科學家在內的專家進一步進行分析，以提高作物生長的性能并滿足生產需求。由于缺乏遙測和傳感器數據，現(xiàn)場的工業(yè)人員一直面臨著不斷解決此類問題的挑戰(zhàn)。如果不全神貫注，產量監(jiān)測也被證明是困難的。

車輛組裝（加上一些早期的問題）

[幸運的是，貨物到達并收集了所有重要部件以組裝 RC 控制試駕！得益于指導性MR-BUGGY3 構建指南（NXP CUP 的一部分），節(jié)省了許多時間

主要障礙（你必須在進入機器人開發(fā)和 NAVQ+ 集成之前解決問題）

硬件磨合：a) 遠程控制/遙測 - 由于無線電控制器配置問題，尋求穩(wěn)定的 PX4 版本用于 Rover 機身。throttle not zero解決了PX4 version: v1.13.2-28-ga5ccd145aa帶有 ESC 的額外 PWM 微調。該版本還允許為流動站禁用 GPS 鎖定以進行飛行測試。通過調整和映射到上限上限，油門在適當的轉向和轉向角度下適當地降低動力。

nsh> pwm test -d /dev/pwm_output0 -c 4 -p 

b) HW revC 6 針 PWM 上的 ESC 配置。c) 元器件洗牌、接線整理、配電板固定。

Software Grind : a)nxp_fmuk66-v3在 Mac M1 上使用 PX4-Autopilot 克服構建/編譯/Flash（請參閱要點了解 python3 版本和 conda 要求）

b) 使用 UART/TELEM2 在 NavQ+ 和飛行控制器之間建立串行通信（設備樹分配給/dev/ttymxc2上的 SPI ，使用/dev/ttyUSB0的解決方法） c) NavQ+ 上用于構建eIQ工具的 ubuntu 穩(wěn)定版本的 UUU 閃存和MAVSDK

技術開發(fā)

BME688 固件和傳感器 uORB 主題

需要進行一些調整來包裝與 Bosch C++ API 通信的 PX4 驅動程序（I2C/SPI HAL 不可知代碼）。固件端口的詳細信息可以在本教程和Github頁面上找到。

uint64 timestamp          # time since system start (microseconds)
uint64 timestamp_sample

uint32 device_id          # unique device ID for the sensor that does not change between power cycles

uint32 sample_count       # bme688 sample counts
float32 temperature       # temperature in degrees Celsius
float32 pressure          # static pressure measurement in Pascals
float32 humidity          # Humidity in percentage (%)
float32 gas_resistance    # gas resistance (ohm)
uint8 device_status       # byte hex 0xB0

uint32 error_count

uint8 ORB_QUEUE_LENGTH = 4

Use of I2C scan (default address: 0x77 on adafruit BME688 breakout)

nsh> i2cdetect -b 1
Scanning I2C bus: 1
     0  1  2  3  4  5  6  7  8  9  a  b  c  d  e  f
00: -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- 
10: -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- 
20: -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- 
30: -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- 
40: -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- 
50: -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- 
60: -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- 
70: -- -- -- -- -- -- -- 77 -- -- -- -- -- -- -- --

nsh> bme688 start -X -f 200000
NFO  [SPI_I2C] adding a running instance -set started to true
bme688 #0 on I2C bus 1 address 0x77
nsh> bme688 status
INFO  [SPI_I2C] Running on I2C Bus 1, Address 0x77
bme688: sample: 108 events, 115304us elapsed, 1067.63us avg, min 884us max 1411us 93.582us rms
bme688: measure: 109 events, 16119470us elapsed, 147885.05us avg, min 147140us max 148614us 266.258us rms
bme688: comms errors: 0 events

傳感器 uORB 主題對 PX4 系統(tǒng)是透明的，并且可以由農作物監(jiān)控應用程序訂閱，如下所示（下面使用測試listener）

nsh> uorb status
TOPIC NAME                     INST #SUB #Q SIZE PATH
sensor_gas                        0    0  4   48 /obj/sensor_gas0
nsh> listener sensor_gas

TOPIC: sensor_gas
 sensor_gas
    timestamp: 185075367 (0.630325 seconds ago)
    timestamp_sample: 185074305 (1062 us before timestamp)
    device_id: 12744457 (Type: 0xC2, I2C:1 (0x77))
    sample_count: 1
    temperature: 23.7633
    pressure: 101306.1875
    humidity: 59.5401
    gas_resistance: 35814.2148
    error_count: 0
    device_status: 176

By將 app 命令添加到PX4 src/boards/nxp/fmuk66-v3/init/rc.board_sensors，氣體傳感器驅動程序將在設備啟動時啟動 I2C 狀態(tài)機，在測量和收集狀態(tài)之間切換發(fā)布sensor_gas主題 @ 2 Hz（每 500 毫秒）

# auto start BME688 gas sensor on external i2c bus 1 @200k
bme688 start -X -b 1 -f 200000

static constexpr uint32_t   _measure_interval{250 * 1000};  // every 0.5 sec

數據采樣是在強制（而不是并行模式）下完成的，因為我們以高數據速率發(fā)布推理決策（不需要長時間的熱分析）以獲取溫度、濕度、氣壓和氣體指標。

Edge ML - 使用 Bosch AI Studio

這個簡短實驗的目標是收集傳感器數據并提供可部署到 IoT Edge 的基本分類模型，在我們的例子中是一個相當占用的 FMUK-66。Bosch BME688 開發(fā)套件（x8 傳感器）用于收集具有各種傳感配置文件的一些植物的溫度、壓力、濕度和氣體成分，以最大限度地減少數據差異并避免 Bosch AI studio 中的 BSEC 訓練出現(xiàn)異常。收集階段耗時數小時，并在控制環(huán)境下進行了兩次（相隔約 1.5 周），一次是在這些植物處于最健康狀態(tài)時，一次是在其易碎、腐爛的狀態(tài)（葉子呈褐色，活力較差，和干腐爛的根

在數據收集之前，電路板傳感器已經穩(wěn)定（準備 24 小時）。加熱器配置文件是使用 8 傳感器評估套件（ESP32 Teensy 模塊）創(chuàng)建的。雖然尚不清楚額外的氣體成分（如 CO、NO2、乙醇、氣體混合物）是否是植物樣本健康惡化的任何因素，但該模型能夠得出一些可靠的結果，而不是嚴重過度擬合（門控通過工作室訓練的混淆矩陣）通過暗示溫度、濕度等其他因素。

訓練方法：批量大小為32 的ADAM ，1024輪，70%/30%數據拆分

除了 AI studio 生成的 BSEC 配置頭文件和 .config 二進制文件，我們還需要導入其 cortex-M4庫（FMUK-66 架構）以包含在bsec.h分類任務中。預測結果作為 uORB crop_health 主題的一部分發(fā)布，該主題由在 PX4 上開發(fā)的作物監(jiān)測 C++ 應用程序推斷

珊瑚相機支架和NAVQ+ 集成

pixy2 pan tilt 套件被修改為連接珊瑚短殼并嘗試讓云臺控制相機（物理安裝但未使用，考慮到飛行控制上的 CPU 負載很重 ~91%）設法在底部鉆了幾個洞NavQ+ 機箱，同時為配套計算機騰出空間。USB 集線器安裝在第一個 PCB 的頂部，它允許 NavQ+ 與 /dev/ttyUSB0 上的 FMUK66 通信以獲取 MAVLink 消息。

• 。

作物健康監(jiān)測

uORB sensor_gas主題必須由機載農作物監(jiān)控應用程序定期使用，該應用程序在通過 MAVLink 發(fā)送它們之前計算分類結果和指標。

uint64 timestamp      # time since system start (microseconds)

char[20] crop_type    # type of crops

float32 temperature       # temperature in degrees Celsius
float32 pressure          # static pressure measurement in Pascals
float32 humidity          # Humidity in percentage (%)
float32 gas_resistance    # gas resistance (ohm)

float32 health_index      # general health index
uint8 pred_longevity    # model prediction

1) 添加rcS文件以允許 Edge ML 訂閱、解釋、監(jiān)控農作物健康狀況。crops_monitor

2) 添加 MAVLink stream 命令以啟用包流以周期性速率到地面站和 NavQ+ 的串行/遙測（這兩個文件都在ROMFS/px4fmu_common/init.d-posix 下）px4-rc.mavlink

# custom CROPS_MONITOR startup stream for mavlink
mavlink stream -r 2 -s CROPS_MONITOR -d /dev/ttyS1

crops_monitor.cpp

PX4_INFO("Crops monitor evaluate identified plant health using BME688 gas sensor metrics");

// subscribe to sensor_gas topic
int sensor_gas_fd = orb_subscribe(ORB_ID(sensor_gas));
// limit the update rate to 50 Hz
orb_set_interval(sensor_gas_fd, 20);

struct crops_health_s ch{};
orb_advert_t ch_pub = orb_advertise(ORB_ID(crops_health), &ch);

px4_pollfd_struct_t fds[] = {
    { .fd = sensor_gas_fd,   .events = POLLIN },
};

3) health_index作為植物健康的一般指標，由濕度、壓力和溫度的比例值組成。pred_longevity是上述 BSEC 分類模型使用來自 BME688 的實時樣本的推理結果。

<mavlink>
    <include>development.xmlinclude>
    
    <dialect>1dialect>
    <messages>
        <message id="437" name="CROPS_HEALTH">
            <description>Mavlink Crop Health Metrics sampled and reported by flight controller FMUK66description>
            <field type="uint64_t" name="timestamp">time since system start (microseconds)field>
            <field type="char[20]" name="crop_type">crop typefield>
            <field type="float" name="temperature">temperaturefield>
            <field type="float" name="pressure">pressurefield>
            <field type="float" name="humidity">humidityfield>
            <field type="float" name="gas_resistance">gas resistancefield>
            <field type="float" name="health_index">health indexfield>
            <field type="uint8_t" name="pred_longevity">pred longevityfield>
        message>
    messages>
mavlink>

可以通過流式傳輸使用 QGC 上的視覺指示器來應用現(xiàn)場條件和標簽。遠程車輛接近數據樣本和目視檢查，因為它們被附近的標簽識別。顏色編碼的指標表示每種植物的健康狀況，如下所示：（來自 QGC 直播的照片）

crops_monitor [1360:100]
nsh> INFO  [crops_monitor] Crops monitor evaluate identified plant health using BME688 gas sensor metrics
INFO  [crops_monitor] Sensor Gas:     25.2710     46.7412    102259.9063
INFO  [crops_monitor] Sensor Gas:     25.2710     46.7476    102259.9063
INFO  [crops_monitor] Sensor Gas:     25.2760     46.7610    102263.6484
INFO  [crops_monitor] Sensor Gas:     25.2710     46.7603    102259.9063

1) 添加rcS文件以允許 Edge ML 訂閱、解釋、監(jiān)控農作物健康狀況。2) 添加 MAVLink stream 命令以啟用包流以周期性速率到地面站和 NavQ+ 的串行/遙測（這兩個文件都在ROMFS/px4fmu_common/init.d-posix 下）crops_monitorpx4-rc.mavlink

# custom CROPS_MONITOR startup stream for mavlink
mavlink stream -r 2 -s CROPS_MONITOR -d /dev/ttyS1

項目事后分析

1. ROS2 集成：一個全面的發(fā)展戰(zhàn)略，以實現(xiàn)哪種方法非常適合我們的家庭和商業(yè)農業(yè)用例。考慮到完成時間，硬件測試會有所限制。

2.使用 UCANS32K 板擴展 BME688 的環(huán)境感測（如 NXP Cup Demo 中采用的那樣）：雖然使用 FMUK-66 的機載感測在此處運行良好，但我們顯著限制了傳感器與被監(jiān)控植物之間的探測和測量距離。一旦總線延伸超過幾米，板載 I2C/SPI 噪聲幾乎呈指數增長。帶有 CAN FD 的 UAVCAN 橋將有助于準確地進行機械探測，但會犧牲更多的外圍設備。

3.對 YOLO3/MobileNet V3 的訓練不足：只有導入 eIQ 用于 NavQ+ 視覺識別的模型是移動網絡singleShotDetector ，它在大規(guī)模真實世界物體方面表現(xiàn)出色，但在沒有進一步訓練和監(jiān)督的情況下無法識別物體類別。訓練有素的轉換網絡可能足以滿足我們的用例。