描述

我的妻子對(duì)我不斷地打開(kāi)車庫(kù)門感到沮喪。老鼠會(huì)在一夜之間進(jìn)來(lái)，我們會(huì)在房子的陷阱里找到它們。當(dāng)然，我可以為我的車庫(kù)開(kāi)門器買一個(gè)便宜的 Wifi 適配器，然后通過(guò)應(yīng)用程序遠(yuǎn)程關(guān)閉它們，但那有什么樂(lè)趣呢？我想我可以使用我新購(gòu)買的 Google AIY Vision 套件，看看我可以用計(jì)算機(jī)視覺(jué)做什么！

對(duì)于那些想要熟悉 Vision Kit 的人，它由一個(gè) Raspberry Pi Zero WH、一個(gè) Raspberry Pi V2 相機(jī)和一個(gè) Vision Bonnet（一個(gè) Myriad 2450 ML 加速器）以及其他一些東西（LED、蜂鳴器）組成。在嘗試了微笑檢測(cè)器和其他示例之后，我想使用該套件。

我將套件放在一個(gè)小架子上，??該架子安裝在車庫(kù)中，面向車庫(kù)門。完全可選，但我將套件插入智能插頭，因此它可以在晚上斷電并在早上啟動(dòng)（它在一夜之間運(yùn)行有什么意義？）。

首先，我需要為計(jì)算機(jī)視覺(jué)模型收集一些數(shù)據(jù)。我編寫了一個(gè)簡(jiǎn)單的 Python 腳本來(lái)拍攝照片并使用時(shí)間戳保存。然后我設(shè)置了一個(gè) cron 作業(yè)，從日出到日落每小時(shí)運(yùn)行一次該腳本。我這樣做了大約一周，以獲得模型的良好照明范圍和不同狀態(tài)（一扇門打開(kāi)，兩扇門打開(kāi)，兩扇門都關(guān)閉，車庫(kù)空，車庫(kù)里有 1 或 2 輛車）。Python腳本代碼如下：

#!/usr/bin/env python3
#Take some photos of the garage to further improve the image classifier
#Run hourly as a cron job during daylight hours

from datetime import datetime
from picamera import PiCamera, Color


#set the filename path for the garage photos
timenow = datetime.now()
timeStr = timenow.strftime("%m-%d-%Y-%H%M%S")
file_path = '/home/pi/garage_screenshots/garage_' + timeStr + '.jpg'

with PiCamera(sensor_mode=4, resolution=(1640, 1232), framerate=30) as camera:
    camera.capture(file_path)

一旦我有足夠的照片，我就利用了 Vision Kit教程中的Google Colab 。它運(yùn)行一個(gè)默認(rèn)的花卉分類模型，所以我不得不用我車庫(kù)里的照片替換花卉照片。鑒于 Colab 只是一個(gè)臨時(shí)實(shí)例，您必須在每次運(yùn)行時(shí)將照片上傳到 Colab。能夠使用 Google GPU 來(lái)訓(xùn)練您的模型需要付出很小的代價(jià)。我創(chuàng)建了一個(gè)帶有 2 個(gè)子文件夾的garage_photos 文件夾：打開(kāi)和關(guān)閉。這些子文件夾與您將從模型中獲得的推理標(biāo)簽對(duì)齊。我在打開(kāi)的文件夾中填充了至少一個(gè)車庫(kù)門打開(kāi)的照片，并在關(guān)閉的文件夾中填充了兩扇門都關(guān)閉的照片這是我在 Colab 中所做的更改：

python scripts/retrain.py \
--bottleneck_dir=tf_files/bottlenecks \
--how_many_training_steps=500 \
--model_dir=tf_files/models/ \
--summaries_dir=tf_files/training_summaries/$ARCHITECTURE \
--output_graph=tf_files/retrained_graph.pb \
--output_labels=tf_files/retrained_labels.txt \
--architecture=$ARCHITECTURE \
--image_dir=tf_files/garage_photos

所有其他步驟保持不變。我將 Google Colab 的本地副本保存到我的 Google Drive，這樣我就不必每次運(yùn)行 Colab 時(shí)都更新它。根據(jù)輸出，我的模型在驗(yàn)證和測(cè)試數(shù)據(jù)方面的準(zhǔn)確度低于 90 年代。對(duì)我來(lái)說(shuō)已經(jīng)足夠好了，我可以不斷添加更多照片來(lái)改進(jìn)模型結(jié)果。

Colab 完成后，我下載了模型（創(chuàng)建了兩個(gè)文件：retrained_graph.binaryproto 和 retrained_labels.txt）并將它們復(fù)制到 Raspberry Pi Zero。

現(xiàn)在，檢查車庫(kù)門狀態(tài)的腳本！我也保持這個(gè)簡(jiǎn)單，添加一個(gè) cron 作業(yè)來(lái)只運(yùn)行一次腳本（接近黃昏，所以我改變時(shí)間，因?yàn)槲覀兊玫礁嗷蚋俚年?yáng)光）。我*大量*利用 Google 的mobilenet_based_classifier.py Python 腳本來(lái)輸入模型參數(shù)并運(yùn)行推理。結(jié)果出來(lái)后，我拍攝了一張相機(jī)（只是為了驗(yàn)證推理結(jié)果）并使用 smtplib 將車庫(kù)門的狀態(tài)和照片通過(guò)電子郵件發(fā)送給我和我的妻子。我還設(shè)置了一個(gè) Twilio 試用帳戶，以使用 Twilio API 發(fā)送車庫(kù)門狀態(tài)的文本消息（雖然沒(méi)有圖像，以保持更便宜）。當(dāng) cronjob 運(yùn)行時(shí)，成功！

我在一天結(jié)束時(shí)收到的電子郵件的屏幕截圖。

?

我們收到的短信截圖。

?

未來(lái)的改進(jìn)？

下一個(gè)是什么？我認(rèn)為下一步對(duì)我來(lái)說(shuō)是自動(dòng)化它！如果車庫(kù)門是開(kāi)著的，我還是得下樓把它關(guān)上。那是多大的痛苦？:) 如果程序檢測(cè)到車庫(kù)門是打開(kāi)的，為什么不讓程序關(guān)閉它呢？

這將是該項(xiàng)目的第 2 版。我開(kāi)始使用視覺(jué)套件測(cè)試一個(gè) 2 通道繼電器開(kāi)關(guān)，并且我能夠運(yùn)行一個(gè)簡(jiǎn)單的腳本來(lái)打開(kāi)和關(guān)閉每個(gè)繼電器（但是男孩，鑒于它是一個(gè)Raspberry Pi 上帶有 3.3V 邏輯的 5V 繼電器！）。我計(jì)劃將繼電器的電線連接到車庫(kù)門開(kāi)啟器的按鈕，并在程序檢測(cè)到門打開(kāi)時(shí)觸發(fā)它們。我還必須更新模型以區(qū)分兩個(gè)車庫(kù)門。現(xiàn)在我的模型只關(guān)心一扇門是開(kāi)著還是關(guān)著。

版本 2 涉及 2 通道繼電器！

?

我希望你喜歡這個(gè)項(xiàng)目。了解 Vision Kit 的內(nèi)部工作原理，然后將其重新用于我家的實(shí)用工具，這很有趣。隨時(shí)給我留下任何評(píng)論和/或反饋。謝謝！