方案介紹

本方案可使用經(jīng)過(guò)培訓(xùn)的邊緣設(shè)備警告駕駛員輪胎壓力過(guò)低，該設(shè)備可以查看汽車輪胎是滿還是漏氣。

該項(xiàng)目演示了如何構(gòu)建一個(gè)電池供電的邊緣設(shè)備，該設(shè)備使用機(jī)器視覺(jué)測(cè)量汽車輪胎的壓力水平，并在輪胎不安全行駛時(shí)提醒用戶。

當(dāng)汽車在設(shè)備前行駛時(shí)，其輪胎的圖像會(huì)被捕獲并分類為“滿載”或“爆胎”。設(shè)備頂部的指示燈會(huì)改變顏色以通知用戶結(jié)果。任何顯示“紅色”的輪胎都處于非常低的壓力下，應(yīng)在繼續(xù)行駛之前將其固定。

Edge Impluse 用于設(shè)計(jì)和訓(xùn)練圖像分類模型，該模型可準(zhǔn)確區(qū)分正常壓力（滿）和低壓（扁平）級(jí)別的輪胎圖像。該模型部署到設(shè)備內(nèi)的 OpenMV Cam 并在其上運(yùn)行。

該原型作為概念證明，可以被任何定期檢查車輛的行業(yè)采用，以減少檢查時(shí)間并提高安全性。

背景

車輛安全對(duì)任何在道路上行駛的人來(lái)說(shuō)都是最重要的。司機(jī)每天都依靠妥善保養(yǎng)的汽車和卡車將他們從一個(gè)地方送到另一個(gè)地方而不會(huì)受到傷害。

多個(gè)行業(yè)的任務(wù)是確保對(duì)大量車輛進(jìn)行例行審查，確保道路安全：

卡車稱重站：由 DOT 運(yùn)營(yíng)，這些站驗(yàn)證高速公路上的卡車是否符合安全規(guī)定。檢查員對(duì)卡車進(jìn)行物理檢查，以確保它們符合要求的標(biāo)準(zhǔn)。
自主轎車艦隊(duì)：自主汽車的大型船隊(duì)將在集中倉(cāng)庫(kù)進(jìn)行維修。定期維護(hù)可確保汽車系統(tǒng)準(zhǔn)確校準(zhǔn)并按預(yù)期運(yùn)行。
租車歸還：租車公司需要確保汽車處于安全工作狀態(tài)，然后再借給下一位客戶。在汽車再次可用之前，必須進(jìn)行多點(diǎn)安全檢查。
雖然必須涵蓋整個(gè)檢查清單才能驗(yàn)證車輛的安全性，但一項(xiàng)至關(guān)重要的檢查是輪胎壓力。

在車輛的每個(gè)輪胎中保持正確的氣壓對(duì)于安全駕駛至關(guān)重要。充氣不足或漏氣的輪胎會(huì)影響車輛的整體操控性，使其響應(yīng)速度變慢，停車速度變慢，并可能導(dǎo)致道路上非常危險(xiǎn)的輪胎爆胎。

汽車和卡車通常配備胎壓監(jiān)測(cè)系統(tǒng) (TPMS)，通過(guò)儀表板警告燈提醒駕駛員胎壓低。

然而，TPMS 的局限性在于它的警告只有能夠進(jìn)入車輛內(nèi)部的檢查員才能看到，并且它依賴于輪胎內(nèi)的單個(gè)傳感器來(lái)捕獲如此重要的安全測(cè)量。

在許多車輛都是手動(dòng)檢查的環(huán)境中，例如上面列出的那些，需要一種自動(dòng)化的車外方式來(lái)準(zhǔn)確測(cè)量輪胎壓力。

有了這個(gè)，檢查員將不再需要進(jìn)入車輛，而是遠(yuǎn)程獲取準(zhǔn)確的讀數(shù)。這樣的系統(tǒng)將縮短檢查時(shí)間，同時(shí)提供額外的安全驗(yàn)證。

該項(xiàng)目旨在通過(guò)原型設(shè)備解決這個(gè)問(wèn)題，該設(shè)備使用機(jī)器視覺(jué)從車輛外部快速確定輪胎壓力，并將結(jié)果通知檢查員。

如何運(yùn)作

該設(shè)備由一個(gè)攝像頭和電子設(shè)備組成，安裝在一個(gè)可調(diào)節(jié)的支架上，可以部署在汽車駛過(guò)的任何地方，以測(cè)量輪胎壓力水平。

OpenMV Cam H7 Plus 微控制器板提供設(shè)備的計(jì)算能力和機(jī)器視覺(jué)功能。

OpenMV Cam 包括一個(gè)板載攝像頭、處理器和存儲(chǔ)。Python 腳本可用于以編程方式捕獲、保存和處理圖像，以及控制板的 I/O 引腳。該板適合設(shè)備的 3D 打印外殼，其攝像頭從正面的孔中伸出。

RGB LED 使用跨接線連接到 OpenMV Cam 的 I/O 引腳，并穿過(guò)外殼頂部的孔。電源由連接的 LiPo 電池提供給電路板。

背板將所有電子設(shè)備和電池固定在外殼內(nèi)，然后連接到 3D 打印支架中。

組裝好的設(shè)備放置在目標(biāo)汽車所在位置的一側(cè)，瞄準(zhǔn)時(shí)攝像機(jī)的視野將覆蓋單個(gè)輪胎的位置，并在其周圍增加 6-12 英寸的緩沖區(qū)。

距離汽車門側(cè)大約 3 英尺，電子設(shè)備外殼略微向上傾斜。

設(shè)備通電后，加載到 OpenMV Cam 的 Python 腳本會(huì)自動(dòng)開(kāi)始執(zhí)行。

該腳本連續(xù)運(yùn)行，循環(huán)執(zhí)行以下處理步驟：

• 捕獲圖像：使用板載攝像頭捕獲 240x240 像素灰度圖像并存儲(chǔ)在凸輪的閃存中。
• 對(duì)圖像進(jìn)行分類：圖像通過(guò)經(jīng)過(guò)訓(xùn)練的 TensorFlow 圖像分類模型進(jìn)行處理，該模型將其分類為“完整”、“平坦”或“無(wú)輪胎”。
• 通知用戶：RGB LED 亮綠色、紅色或黃色，具體取決于確定圖像的目標(biāo)類別。

用于對(duì)每個(gè)圖像進(jìn)行分類的 TensorFlow 模型已經(jīng)在三個(gè)類別的示例圖像的標(biāo)記數(shù)據(jù)集上進(jìn)行了訓(xùn)練：

正確充氣輪胎的“完整”圖像；未填充輪胎的“扁平”圖像；和非輪胎物體的“無(wú)輪胎”圖像，如汽車側(cè)面或空車庫(kù)。

有關(guān)創(chuàng)建使用的標(biāo)記數(shù)據(jù)集的更多詳細(xì)信息，請(qǐng)參閱下面的構(gòu)建說(shuō)明部分。

通過(guò)在訓(xùn)練過(guò)程中反復(fù)接觸數(shù)百?gòu)埵纠龍D像，該模型學(xué)習(xí)了可以使用哪些圖像形狀和特征來(lái)準(zhǔn)確區(qū)分三類。

OpenMV Cam 捕獲的圖像由經(jīng)過(guò)訓(xùn)練的模型處理，該模型根據(jù)輸入圖像與模型學(xué)習(xí)的形狀和特征鑒別器的匹配程度輸出每個(gè)類別的預(yù)測(cè)分?jǐn)?shù)。

無(wú)論哪個(gè)類別——“完整”、“平坦”或“無(wú)輪胎”——具有最高的預(yù)測(cè)分?jǐn)?shù)，都被認(rèn)為是該圖像的單一分類。

通知燈被編程為根據(jù)圖像的分類改變其顏色 - 為“綠色”、“紅色”或“黃色”。

處理工作流以每秒 5 幀的速度運(yùn)行，這足以為緩慢移動(dòng)的汽車提供實(shí)時(shí)結(jié)果。

從最初在設(shè)備視野之外的汽車輪胎開(kāi)始，捕獲的圖像被正確分類為“無(wú)輪胎”，指示燈顯示黃色。

當(dāng)汽車在設(shè)備前面行駛并且其輪胎進(jìn)入相機(jī)的視野時(shí)，根據(jù)輪胎的壓力水平將捕獲的圖像分類為“滿”或“漏氣”，并且指示燈相應(yīng)地變?yōu)榫G色或紅色。

用戶或檢查員只需在汽車駛過(guò)時(shí)監(jiān)控通知燈的顏色即可驗(yàn)證其輪胎的狀態(tài)。

如果當(dāng)輪胎穿過(guò)設(shè)備時(shí)通知燈變?yōu)榫G色，則檢查員知道輪胎已正確充氣并且可以安全行駛。紅色通知燈表示輪胎氣壓低，需要在繼續(xù)行駛前加滿油。

構(gòu)建說(shuō)明
以下是有關(guān)如何構(gòu)建、原型設(shè)計(jì)和部署漏氣輪胎分類器設(shè)備的端到端說(shuō)明。

從設(shè)備硬件的初始設(shè)置開(kāi)始此項(xiàng)目。接下來(lái)，使用 OpenMV IDE 創(chuàng)建來(lái)自三個(gè)目標(biāo)類別的標(biāo)記圖像數(shù)據(jù)集 - “full”、“flat”和“no-tire”。

然后使用 Edge Impulse 來(lái)設(shè)計(jì)和訓(xùn)練使用數(shù)據(jù)集的圖像分類模型。訓(xùn)練好的模型被導(dǎo)出到 OpenMV Cam 并進(jìn)行測(cè)試。

通過(guò)將 RGB LED 連接到微控制器并更新 Python 代碼以使其用作通知燈來(lái)完成項(xiàng)目。

初始硬件設(shè)置
如果設(shè)備使用的圖像分類模型在設(shè)備完全組裝并放置在地面上時(shí)，在與設(shè)備相同的視角下捕獲的示例圖像上進(jìn)行訓(xùn)練，則該模型將表現(xiàn)最佳。

首先將 Open MV Cam H7 放置在用于最終部署的同一個(gè) 3D 打印外殼和支架中，確保在接下來(lái)的數(shù)據(jù)集創(chuàng)建步驟中正確定位 Open MV Cam H7。

這種初始設(shè)置不需要 LED 或電池。

第 1 步：PrintHousingandStand

項(xiàng)目附件中提供了外殼和支架的模型文件 (.stl) 。3D 打印每個(gè)文件以創(chuàng)建系統(tǒng)的三個(gè)部分 - 外殼、背板和支架。

可能需要打磨以將外殼的臂裝入支架的孔中。背板壓力適合外殼背面以封閉電子設(shè)備。

第 2 步：安裝 OpenMV Cam

OpenMV Cam H7 Plus 安裝在外殼內(nèi)，其攝像頭從正面的孔中伸出。

Cam H7 壓力配合到它的位置，它的銷可以通過(guò)將它們稍微向外彎曲朝向外殼壁來(lái)提供更緊密的配合。

外殼底部的孔可用于訪問(wèn) Cam H7 的 USB 插座。

創(chuàng)建帶標(biāo)簽的數(shù)據(jù)集

需要有標(biāo)記圖像的自定義數(shù)據(jù)集才能正確訓(xùn)練設(shè)備將采用的圖像分類模型。

目的是讓模型準(zhǔn)確地將圖像區(qū)分為三個(gè)類別之一——“完整”、“平坦”或“無(wú)輪胎”——這可以通過(guò)在訓(xùn)練期間將模型暴露給每個(gè)類別的許多示例圖像來(lái)實(shí)現(xiàn)。

訓(xùn)練依賴于示例圖像的數(shù)據(jù)集，每個(gè)圖像都與它們所代表的類別的標(biāo)簽配對(duì)。每個(gè)類都定義為包含特定內(nèi)容：

• 滿：圖像幾乎集中在一個(gè)正確填充的輪胎上 (~45 psi)。整個(gè)輪胎必須是可見(jiàn)的并填滿框架的大部分。
• 扁平：圖像幾乎集中在未填充的單個(gè)輪胎 (~10 psi) 上。整個(gè)輪胎必須是可見(jiàn)的并填滿框架的大部分。
• 無(wú)輪胎：非輪胎物體的圖像，如汽車側(cè)面或空車庫(kù)。部分輪胎的圖像包含在該類中。

這些定義支持設(shè)備的預(yù)期應(yīng)用。當(dāng)汽車駛過(guò)設(shè)備時(shí)，車庫(kù)背景、汽車面板和部分輪胎的圖像應(yīng)歸類為“無(wú)輪胎”。只有當(dāng)汽車的輪胎完全移動(dòng)到相機(jī)的框架中時(shí)，才應(yīng)該對(duì)“完整”和“平坦”類別進(jìn)行分類。

通過(guò)捕獲適合每個(gè)類定義的各種圖像來(lái)構(gòu)建數(shù)據(jù)集。圖像多樣性確保模型暴露于同一類圖像之間可能存在的許多差異。

OpenMV IDE 和連接的 OpenMV Cam H7 Plus 用于收集和組織數(shù)據(jù)集的圖像。

這些說(shuō)明假設(shè)您可以使用車輛、可以駕駛的小區(qū)域，并且能夠改變車輛的輪胎壓力。

步驟 1：設(shè)置捕獲區(qū)域

通過(guò)在目標(biāo)車輛所在的區(qū)域設(shè)置筆記本電腦和初始硬件來(lái)開(kāi)始該過(guò)程。

在整個(gè)捕獲過(guò)程中，車輛應(yīng)該能夠稍微向前或向后移動(dòng)幾英尺。

將初始硬件設(shè)置放置在距車輛側(cè)面約 3 英尺的位置，以匹配設(shè)備在其最終設(shè)置中的部署方式。通過(guò) USB 電纜將設(shè)備中的 Cam H7 連接到筆記本電腦。

步驟 2：初始化新數(shù)據(jù)集

在筆記本電腦上打開(kāi) OpenMV IDE。從“工具”菜單中，單擊“數(shù)據(jù)集編輯器”，然后單擊“新建數(shù)據(jù)集”。

出現(xiàn)提示時(shí)，創(chuàng)建一個(gè)名為的新文件夾tire-dataset并選擇它。該文件夾將包含所有數(shù)據(jù)集圖像和相關(guān)文件。該文件夾在 IDE 的數(shù)據(jù)集編輯器面板中打開(kāi)。

第 3 步：編輯捕獲腳本

一個(gè)dataset_capture_script.pyPython的文件數(shù)據(jù)集文件夾中自動(dòng)創(chuàng)建和IDE編輯器窗口中打開(kāi)。此腳本用于在捕獲圖像之前初始化 Cam H7 的相機(jī)設(shè)置。

為此數(shù)據(jù)集收集的圖像應(yīng)以正方形尺寸 (240x240 像素) 和灰度顏色捕獲。這兩項(xiàng)設(shè)置都將確保圖像與模型預(yù)期的輸入格式相匹配。

通過(guò)將sensor.RGB565值更新為sensor.GRAYSCALE并添加定義圖像大小的行來(lái)編輯腳本中的相機(jī)配置代碼塊sensor.set_windowing((240, 240))。

更新后的代碼塊應(yīng)如下所示：

通過(guò) USB 線將 Cam H7 連接到筆記本電腦，單擊 IDE 左下角的“連接”按鈕。

單擊左下角的“開(kāi)始”按鈕開(kāi)始執(zhí)行data_capture_script.py腳本。運(yùn)行后，可以在 IDE 的“幀緩沖”面板中查看攝像機(jī)所見(jiàn)的實(shí)時(shí)預(yù)覽窗口，并應(yīng)用配置設(shè)置。

第 4 步：捕獲圖像

從車輛停放和輪胎完全充氣 (~45 PSI) 開(kāi)始。使用 IDE 中的實(shí)時(shí)預(yù)覽窗口定位設(shè)備，使相機(jī)以單個(gè)輪胎為中心，如上面的“完整”類所定義。

在 IDE 的數(shù)據(jù)集編輯器面板中，單擊“新建類文件夾”按鈕，并在出現(xiàn)提示時(shí)輸入類名“完整”。這會(huì)full.class在文件夾中創(chuàng)建一個(gè)新的子tire-dataset文件夾來(lái)存儲(chǔ)此類的圖像。

單擊“數(shù)據(jù)集編輯器”菜單中的full.class文件夾以突出顯示它。為數(shù)據(jù)集捕獲的任何新圖像都放置在當(dāng)前突出顯示的任何類子文件夾中。

相機(jī)就位后，單擊“捕獲數(shù)據(jù)”按鈕開(kāi)始收集“完整”類圖像。每次單擊都會(huì)捕獲并保存 JPEG 圖像。在每次點(diǎn)擊之間，稍微改變相機(jī)的位置和角度，以在連續(xù)圖像之間產(chǎn)生微小的差異。

通過(guò)定期向前或向后移動(dòng)車輛幾英尺、重新定位相機(jī)并繼續(xù)收集過(guò)程，收集不同輪胎旋轉(zhuǎn)時(shí)的“完整”圖像。不同的旋轉(zhuǎn)確保模型不會(huì)學(xué)習(xí)特定的輪轂蓋旋轉(zhuǎn)角度作為類特征的一部分。

重復(fù)此過(guò)程，直到收集到一整套“完整”圖像。該項(xiàng)目中使用的圖像總數(shù)為每班 300 張。

接下來(lái)，讓車輛輪胎中的空氣排出，直到它們被認(rèn)為是扁平的 (~10 PSI)。創(chuàng)建一個(gè)新的“平面”類并在“數(shù)據(jù)集編輯器”菜單中突出顯示flat.class子文件夾。

重復(fù)收集過(guò)程，這次使用滿足“平面”類定義的圖像。在此過(guò)程中改變距離、角度和輪胎旋轉(zhuǎn)，并繼續(xù)直到收集到整套 300 張“平坦”圖像。

最后，創(chuàng)建一個(gè)新的“no-tire”類并使用與上述類似的過(guò)程將圖像添加到no-tire.class文件夾中。這些圖像應(yīng)符合“無(wú)輪胎”類定義，包括無(wú)輪胎物體、汽車側(cè)面和部分輪胎的圖像。繼續(xù)直到收集到整套 300 個(gè)“無(wú)輪胎”圖像。

完成后，tire-dataset文件夾應(yīng)包括full.class、flat.class和no-tire.class子文件夾，每個(gè)文件夾包含 300 個(gè)示例圖像，總共 900 個(gè)圖像。一個(gè)labels.txt文件也被生成，其中包括三個(gè)類名。

?