這篇文章中，我們描述了我們為 計算機視覺模型訓練構建不同視覺數據集的技術，包括合成圖像的示例。我們分解了解決方案的每個組成部分，并提供了未來研究方向的見解。

問題

非線性碎片堆積、實時數據不可用以及復雜的流體動力學表明，傳統的基于數值模擬的方法解決該問題是無效的。在這種情況下，洪水后的視覺信息被用于制定阻塞政策，其中涉及幾個假設，許多人認為這些假設不是阻塞的真實代表。

這表明需要從技術角度更好地理解和探索堵塞問題，以幫助洪水管理官員和決策者。

StopBlock ：監測涵洞視覺堵塞的技術倡議

為了幫助解決阻塞問題， StopBlock 作為 SMART Stormwater 管理的一部分啟動。總體而言，該項目涉及伊拉瓦拉（臥龍崗、 Shellharbour 和 Kiama ）和 Shoalhaven 地區的市議會、 Lendlease 以及臥龍崗大學的 SMART 基礎設施之間的合作。

StopBlock 旨在使用最新技術實時評估和監測涵洞的視覺堵塞：

人工智能

計算機視覺

邊緣計算

物聯網（ IoT ）

智能視頻分析

此外，我們使用 NVIDIA 邊緣計算、最新的計算機視覺檢測和分類模型、 CCTV 攝像機和 4G 模塊構建并部署了人工智能物聯網（ AIoT ）解決方案。該解決方案在伊拉瓦拉地區的三個涵洞現場檢測到視覺堵塞狀態（堵塞、部分堵塞或清除）。

建立計算機視覺模型訓練的視覺數據集

訓練計算機視覺 CNN 模型需要大量與預期任務相關的圖像。以前從未從這個角度解決過涵洞堵塞檢測問題。不存在用于此目的的圖像數據和數據集數據庫。

我們開發了一個新的訓練數據庫，由與涵洞堵塞有關的各種圖像數據組成。這些圖像顯示了不同的涵洞類型、碎片類型、攝像機角度、縮放比例和照明條件。

通過市議會的記錄，可以獲得真實涵洞堵塞的有限數據。我們采用了結合真實、實驗室模擬和合成視覺數據的想法。

涵洞開口和堵塞圖像

我們從多個來源收集了涵洞（堵塞和清理）的真實圖像：

市議會歷史記錄

在線存儲庫

當地涵洞場地

收集的圖像在涵洞類型、碎片類型、照明條件、攝像機視點、比例、分辨率甚至背景方面表現出極大的多樣性。涵洞開口和堵塞（ ICOB ）數據集的圖像總共包括 929 張圖像。

可視化液壓實驗室堵塞數據集

我們從縮放的實驗室實驗中收集模擬圖像，以優化現有的視覺數據集，因為沒有足夠的真實圖像可用。

進行了徹底的水力學實驗室調查，其中一系列實驗使用了涵洞的縮放物理模型。在各種洪水條件下，阻塞場景使用了規模化碎片（城市和植被）。

圖像在涵洞類型（單圓形、雙圓形、單箱或雙箱）、堵塞類型（城市、植被或混合）、模擬照明條件、攝像機視點（兩臺攝像機）和洪水條件（入口流量水平）方面表現出多樣性。然而，數據集在反射、清澈的海水、相同的背景和相同的縮放方面受到限制。

總共，我們從這些實驗中收集了 1630 張圖像，以建立 VHD dataset 。

涵洞合成圖像

我們使用基于 Unity 游戲引擎的三維計算機應用程序生成了涵洞（ SIC ）的合成圖像，目的是增強訓練數據集。

該應用程序專為模擬涵洞堵塞情況而設計，可以生成幾乎無數的堵塞涵洞實例，以及您可以想到的任何可能的堵塞情況。您還可以更改涵洞類型、水位、碎片類型、相機視點、一天中的時間和縮放比例。

應用程序設計使您能夠從下拉菜單中選擇場景特征，并從庫中拖動碎片對象以任何可能的方向放置在場景中的任何位置。您可以使用參數編寫代碼來重新創建多個場景，并批量捕獲帶有相應標簽的圖像，以幫助訓練過程。

一些突出的限制包括不切實際的效果和動畫以及單一的自然背景。

AIoT 系統開發

我們使用邊緣計算硬件、計算機視覺模型和傳感器開發了 AIoT 解決方案，用于涵洞的實時可視堵塞監測：

CCTV 攝像機捕捉涵洞。

NVIDIA Jetson TX2 –支持邊緣計算，使用經過訓練的計算機視覺模型處理和推斷堵塞圖像。

4G 連接將阻塞相關數據傳輸到基于 web 的儀表板。

計算機視覺模型用于檢測和分類涵洞處的視覺障礙。

更具體地說，在軟件方面，采用了兩階段檢測分類流水線（圖 4 ）。

檢測階段

在第一階段，使用計算機視覺對象檢測模型（ YOLOv4 ）檢測涵洞開口。從原始圖像中裁剪檢測到的開口，并在分類階段進行處理。如果未檢測到涵洞開口，則會發出警報，提示涵洞可能被淹沒。

分類階段

在第二階段，使用 CNN 分類模型（如 ResNet-50 ）將修剪后的涵洞開口分類為三種堵塞類別（堵塞、部分堵塞或清除）之一。阻塞相關信息隨后被傳輸到洪水管理官員的網絡儀表板，以促進決策過程。

我們使用 Python 、 TensorFlow 和 Keras 支持的 NVIDIA TAO 平臺分別訓練了用于檢測和分類的 YOLOv4 和 ResNet-50 模型。我們使用配備 NVIDIA A100 GPU 的 Linux 機器，使用 ICOB 、 VHD 和 SIC 數據集中的圖像訓練模型。

以下是開發采用的四階段方法：

Stage I:我們從真實和模擬圖像中準備了數據集。

Stage II:我們從 NVIDIA TAO 模型動物園中選擇檢測和分類模型，并使用 TAO 平臺對其進行訓練。

Stage III:我們導出了經過訓練的模型，以部署在 Jetson TX2 邊緣計算機上。

Stage IV:在現場，我們部署了一個完整的硬件系統，并收集了用于微調計算機視覺算法的真實數據。

關于軟件性能，涵洞開口檢測模型的驗證 mAP 為 0.90 ，而堵塞分類模型的驗證精度為 0.88 。

我們在 NVIDIA DeepStream 6 SDK 上開發了端到端視頻分析管道，使用經過訓練的計算機視覺模型在 Jetson TX2 驅動的邊緣計算機上進行推斷。使用這些檢測和分類模型， DeepStream 流水線為 Jetson TX2 硬件實現了 24.8 的 FPS 。

我們使用 CCTV 攝像機、 Jetson TX2 邊緣計算機和 4G 加密狗構建了涵洞堵塞監測智能設備（圖 5 ）。我們優化了開發的硬件的功耗和實時實用程序的計算時間。該硬件由太陽能電池板供電，平均功耗僅為 9.1W 。 AIoT 解決方案還配置為每小時將阻塞元數據傳輸到 web 儀表板。

該解決方案被配置為考慮隱私問題，避免將任何圖像存儲在板上或云中。相反，它只處理圖像并傳輸阻塞元數據。圖 5 顯示了在一個遠程站點安裝 AIoT 硬件，以監控涵洞視覺堵塞。

未來研究方向

可以進一步探索計算機視覺的潛力，通過提取障礙相關信息來更好地理解視覺障礙：

視覺阻塞估計百分比

洪水傳播碎片類型識別

部分自動化可視堵塞分類

視覺阻塞估計百分比

在洪水管理決策的背景下，了解給定涵洞的堵塞狀態并不總是足以做出與維護相關的決策。更進一步，估計給定涵洞的視覺堵塞百分比有助于洪水管理官員確定視覺堵塞程度高的涵洞的優先順序。

從圖像中分割可見開口并將分割的掩模分類為四個百分比視覺阻塞類之一的分割分類管道可以是潛在的解決方案之一。

洪水傳播碎片類型識別

碎片類型的自動檢測是有待探索的另一個關鍵方面。

部分自動化可視堵塞分類

CNN 分類模型可用于促進人工涵洞檢查，這是一種簡單的解決方案，同時讓洪水管理官員了解情況。鑒于問題的復雜性和初步分析，不可能僅使用 CNN 分類模型來自動化該過程。然而，可以開發一個部分自動化的框架來促進該過程。

總結

我們為涵洞的視覺堵塞檢測提供了邊緣計算解決方案，以幫助及時維護并避免堵塞相關的洪水事件。

使用 NVIDIA 邊緣計算硬件開發和部署了一個分類檢測計算機視覺模型，以檢索涵洞的堵塞狀態，即“暢通”、“堵塞”或“部分堵塞”。為了便于針對這個獨特的問題域訓練計算機視覺模型。我們使用了與涵洞視覺堵塞相關的模擬和人工生成的圖像。

以多種方式擴展所提供的解決方案以實現進一步改進和附加的視覺阻塞信息的范圍很大。視覺堵塞百分比的估計、洪水傳播碎片的檢測以及部分自動化視覺堵塞分類框架的開發是現有解決方案中可以進行的一些潛在增強。