摘 要 ：漂浮物識(shí)別是智能視頻監(jiān)控領(lǐng)域亟待解決的難點(diǎn)問(wèn)題，針對(duì)實(shí)際河道環(huán)境復(fù)雜、漂浮物多種多樣等問(wèn)題，文中通過(guò)對(duì)神經(jīng)網(wǎng)絡(luò)的研究分析，結(jié)合邊端和云端設(shè)備的不同特點(diǎn)，設(shè)計(jì)了一種邊云結(jié)合的漂浮物檢測(cè)識(shí)別方法 ：邊端設(shè)備，針對(duì)其算力有限但點(diǎn)位眾多的特點(diǎn)，部署小型神經(jīng)網(wǎng)絡(luò)對(duì)視頻進(jìn)行初篩，得到疑似漂浮物信息及畫面回傳給云端 ；云端設(shè)備，利用其算力高的特點(diǎn)，對(duì)疑似漂浮物信息及畫面進(jìn)行精確識(shí)別，過(guò)濾無(wú)效信息，并將有效信息以報(bào)警形式進(jìn)行存儲(chǔ)上報(bào)。實(shí)驗(yàn)表明 ：該方法能綜合利用邊云設(shè)備的性能，減少傳輸數(shù)據(jù)量、提高識(shí)別率、降低誤檢率，滿足河道監(jiān)控場(chǎng)景的應(yīng)用。

0 引 言

2019 年全國(guó)水利工作會(huì)議和全國(guó)水文工作會(huì)議均提出當(dāng)前水文工作要聚焦支撐解決“四大水問(wèn)題”，緊密圍繞水利中心工作，以提高水文監(jiān)測(cè)預(yù)報(bào)預(yù)警業(yè)務(wù)能力和服務(wù)水平為重點(diǎn)，強(qiáng)化水旱災(zāi)害防御支撐，拓展水利監(jiān)管服務(wù)，拓寬社會(huì)服務(wù)領(lǐng)域，以及時(shí)、準(zhǔn)確、全面的水文監(jiān)測(cè)預(yù)報(bào)預(yù)警信息為水利工作和經(jīng)濟(jì)社會(huì)發(fā)展提供可靠支撐和保障。結(jié)合國(guó)家、水利部以及省委省政府的政策要求，廣東省水利廳提出了開展廣東智慧水利融合工程。其中，漂浮物的監(jiān)督治理作為水利日常管理工作的重要一環(huán) [1]，急需通過(guò)智能化建設(shè)來(lái)解決。

在傳統(tǒng)圖像處理領(lǐng)域，主要通過(guò)漂浮物的邊緣、輪廓、顏色等特征并結(jié)合分類器進(jìn)行漂浮物的分類識(shí)別工作 [2]。例如，左建軍等 [3] 采用背景減除法分割出圖像中的漂浮物區(qū)域，再利用 BP 算法進(jìn)行漂浮物特征訓(xùn)練，并構(gòu)建漂浮物分類器對(duì)分割區(qū)域進(jìn)行漂浮物識(shí)別。朱賀等 [4] 結(jié)合灰度閾值分割和河道輪廓識(shí)別方法實(shí)現(xiàn)對(duì)河道區(qū)域的準(zhǔn)確提取。這些方法檢測(cè)效率高，執(zhí)行速度快，但同時(shí)存在對(duì)光照以及圖像噪聲極為敏感、魯棒性較差等缺點(diǎn)。隨著深度學(xué)習(xí)技術(shù)在目標(biāo)檢測(cè)領(lǐng)域的廣泛使用，越來(lái)越多的學(xué)者使用深度學(xué)習(xí)技術(shù)進(jìn)行河道、湖泊的漂浮物檢測(cè)識(shí)別，并提出了多種網(wǎng)絡(luò)模型的改進(jìn)和應(yīng)用案例。例如鮑佳松等 [5] 采用的基于深度卷積神經(jīng)網(wǎng)絡(luò)的水面漂浮物分類識(shí)別術(shù)。李寧等 [6] 采用的基于 AlexNet的小樣本水面漂浮物識(shí)別。陳運(yùn)軍等 [7] 提出的基于 VGGNet的湖面塑料制品漂浮物識(shí)別。李國(guó)進(jìn)等 [8] 采用的基于改進(jìn)FasterR-CNN 的水面漂浮物識(shí)別與定位。楊偉煌等 [9] 采用的一種水面漂浮垃圾的智能收集系統(tǒng)。由于在實(shí)際河道中漂浮物種類繁多、環(huán)境復(fù)雜 [10]，上述方法使用單一神經(jīng)網(wǎng)絡(luò)模型進(jìn)行檢測(cè)識(shí)別難度大、錯(cuò)誤率高，很難應(yīng)用在實(shí)際場(chǎng)景中。只在邊端進(jìn)行漂浮物檢測(cè)對(duì)硬件設(shè)備要求高，建設(shè)成本大 ；只在云端進(jìn)行漂浮物檢測(cè)，需要大量視頻回傳，網(wǎng)絡(luò)建設(shè)成本高。根據(jù)邊端、云端設(shè)備的不同特點(diǎn)，本文設(shè)計(jì)了一種邊云結(jié)合的漂浮物檢測(cè)識(shí)別方法，該方法在邊端部署小型神經(jīng)網(wǎng)絡(luò)對(duì)視頻進(jìn)行初篩，剔除大量無(wú)目標(biāo)數(shù)據(jù)以降低網(wǎng)絡(luò)傳輸量 ；在云端部署大型神經(jīng)網(wǎng)絡(luò)對(duì)疑似目標(biāo)進(jìn)行精細(xì)識(shí)別分類。

1 算法設(shè)計(jì)

1.1 邊云結(jié)合流程設(shè)計(jì)

本文設(shè)計(jì)了一種邊云結(jié)合的漂浮物檢測(cè)識(shí)別方法 ：

（1）在河岸架設(shè)多路攝像頭，對(duì)獲取的視頻幀進(jìn)行初篩，剔除大量無(wú)目標(biāo)的視頻信息 ；

（2）將疑似目標(biāo)的視頻信息傳輸?shù)皆贫朔?wù)器進(jìn)行精細(xì)識(shí)別分類，并轉(zhuǎn)換為報(bào)警信息進(jìn)行存儲(chǔ)和上報(bào)。

系統(tǒng)物理架構(gòu)如圖 1 所示，算法流程如圖 2 所示。

1.2 邊端算法設(shè)計(jì)

在邊端實(shí)現(xiàn)疑似目標(biāo)的定位，但因設(shè)備算力有限，因此需要一個(gè)快速高效且算力要求不高的目標(biāo)檢測(cè)模型。二階目標(biāo)檢測(cè)模型檢測(cè)精度高但檢測(cè)速率低，無(wú)法滿足河道監(jiān)測(cè)的要求；一階目標(biāo)檢測(cè)模型中的 YOLO 系列是當(dāng)前工業(yè)界的最佳視覺(jué)識(shí)別算法之一，在精度和速率方面能夠達(dá)到較好均衡。相較于之前 YOLOv1～v4 采用的 Darknet 框架，YOLOv5使用 PyTorch 框架，對(duì)用戶非常友好，不僅容易配置環(huán)境，而且模型訓(xùn)練速度快，所以在邊端選用 YOLOv5 網(wǎng)絡(luò)進(jìn)行目標(biāo)檢測(cè)。YOLOv5 結(jié)構(gòu)如圖 3 所示。

1.3 云端算法設(shè)計(jì)

在云端部署的模型主要進(jìn)行目標(biāo)的識(shí)別，要求具有最優(yōu)的準(zhǔn)確率，目前各分類模型具體性能見(jiàn)表 1 所列。

由表 1 可以看出，ResNet152 是當(dāng)前圖片分類任務(wù)中表現(xiàn)最好的神經(jīng)網(wǎng)絡(luò)，所以本文選擇 ResNet152 模型在云端進(jìn)行目標(biāo)識(shí)別分類。所選模型在 top5 上的錯(cuò)誤率為 5.94%，效果突出，ResNet 的結(jié)構(gòu)可以很好地加速神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，模型準(zhǔn)確率有較大提升，避免了層數(shù)加深準(zhǔn)確率下降的問(wèn)題同時(shí)，系統(tǒng)可以滿足云端的漂浮物分類需求，ResNet152 模型的結(jié)構(gòu)見(jiàn)表 2 所列。

2 實(shí) 驗(yàn)

2.1 數(shù)據(jù)集準(zhǔn)備

網(wǎng)絡(luò)模型構(gòu)建完成后，進(jìn)入數(shù)據(jù)集準(zhǔn)備階段。數(shù)據(jù)集的質(zhì)量?jī)?yōu)劣直接影響網(wǎng)絡(luò)模型的性能。考慮到數(shù)據(jù)集的來(lái)源應(yīng)與使用環(huán)境相近，本文在大中小型河道的岸邊進(jìn)行數(shù)據(jù)采集。考慮到季節(jié)、天氣、光照等環(huán)境因素對(duì)網(wǎng)絡(luò)模型的影響，本文在不同環(huán)境條件下對(duì)各種河道及漂浮物進(jìn)行拍攝錄像，然后通過(guò)抽幀獲取目標(biāo)圖片。此外，還借助一些數(shù)據(jù)增強(qiáng)手段來(lái)豐富數(shù)據(jù)集，例如通過(guò)對(duì)圖像進(jìn)行幾何變換，包括翻轉(zhuǎn)、旋轉(zhuǎn)、裁剪、變形、縮放等增加數(shù)據(jù)，以及通過(guò)對(duì)圖像的像素重分布，包括噪聲、模糊、顏色變換、擦除、填充等增加數(shù)據(jù)。

數(shù)據(jù)搜集完畢后，通過(guò)篩選和標(biāo)注形成最終的數(shù)據(jù)集。數(shù)據(jù)集共有圖片 17 985 張，樣本 53 959 個(gè)，漂浮物類別 10 種。樣本類別分布均衡，達(dá)到訓(xùn)練要求。

2.2 實(shí)驗(yàn)結(jié)果與分析

邊端模型訓(xùn)練設(shè)備的硬件配置為 ：處理器 Intel CoreTMi7-4460、內(nèi)存 32G、顯卡 GTX1080、16G ；軟件環(huán)境為 ：操作系統(tǒng) Ubuntu18.04、框架 PyTorch、網(wǎng)絡(luò) YOLOv5。共訓(xùn)練2 次。第一次訓(xùn)練，保證數(shù)據(jù)集樣本及類別不變，并以此訓(xùn)練結(jié)果為基準(zhǔn)判斷本文方法的有效性。訓(xùn)練時(shí)主要觀察模型的精確率，精確率越高說(shuō)明誤檢率越低，第一次訓(xùn)練效果如圖 4 所示。

第二次訓(xùn)練，考慮到邊端設(shè)備算力有限，將數(shù)據(jù)集樣本類別信息去除，由此，YOLOv5 只做目標(biāo)定位而不做目標(biāo)識(shí)別，以降低其計(jì)算復(fù)雜度。第二次訓(xùn)練效果如圖 5 所示。

云端模型訓(xùn)練設(shè)備的硬件配置為 ：處理器 IntelXeon（R） CPU E5-2678 v3@2.50 GHz×48、 內(nèi)存32G、顯卡GTX3090、32G。軟件環(huán)境為 ：操作系統(tǒng) Ubuntu18.04、框架PyTorch、網(wǎng)絡(luò) ResNet152。在訓(xùn)練前，需將數(shù)據(jù)集進(jìn)行裁剪，將目標(biāo)從背景分離得到目標(biāo)數(shù)據(jù)集，模型訓(xùn)練效果如圖 6所示。

通過(guò)圖 4、圖 5 可以看出，YOLOv5 兩次訓(xùn)練的損失函數(shù)曲線圖大致相同，目標(biāo)框的損失曲線大致相同，訓(xùn)練的 2 個(gè)模型的目標(biāo)定位檢測(cè)損失一致，可以說(shuō)明模型在檢測(cè)定位方面一致，其中檢測(cè)分類 YOLOv5 模型的精確率為75.81%。圖 6（a）是 ResNet152 模型的訓(xùn)練損失圖，訓(xùn)練1 000 次后損失約 0.001，圖 6（b）是模型在驗(yàn)證集的準(zhǔn)確率，訓(xùn)練 1 000 次后準(zhǔn)確率約為 98.2%。

將圖 5 的模型在相同驗(yàn)證集進(jìn)行定位檢測(cè)，將檢測(cè)到的目標(biāo)信息傳給 ResNet152 模型進(jìn)行分類，得到結(jié)果后計(jì)算出相應(yīng)的精確率，最終結(jié)果對(duì)比見(jiàn)表 3 所列。

由表3可知，圖4的檢測(cè)準(zhǔn)確率與本文的邊端檢測(cè)準(zhǔn)確率基本相同，從圖4、圖5中 box_loss 函數(shù)趨于相同也可以得到佐證，圖4的精確率為75.81%。采用本文方法在邊端進(jìn)行檢測(cè)的準(zhǔn)確率為73.57%，在云端的識(shí)別精確率為98.2%，本文的精確率為 85.89%。與圖4的精準(zhǔn)度對(duì)比，本文的精確度提高了10.08%。由此可見(jiàn)，本文提出的邊云結(jié)合的漂浮物檢測(cè)識(shí)別方法切實(shí)可行，滿足了河道漂浮物的預(yù)警需求。

3 結(jié) 語(yǔ)

通過(guò)對(duì)神經(jīng)網(wǎng)絡(luò)的研究分析，結(jié)合邊端和云端設(shè)備的不同特點(diǎn)，本文設(shè)計(jì)了一種邊云結(jié)合的漂浮物檢測(cè)識(shí)別方法，該方法目前通過(guò)實(shí)驗(yàn)測(cè)試提高了模型檢測(cè)識(shí)別的精確度，減少了模型預(yù)測(cè)的耗時(shí)。但實(shí)驗(yàn)中還存在一些不足，比如檢測(cè)定位模型選用的是 YOLOv5 模型，沒(méi)有對(duì)其進(jìn)行剪枝壓縮，縮小模型規(guī)模以進(jìn)一步降低模型對(duì)邊端設(shè)備算力的要求，下一步嘗試在保證其檢測(cè)精度的前提下對(duì)模型進(jìn)行壓縮剪枝。