描述

我最近在推特上發布了一些我正在做的工作，我收到一封我認識的人發來的電子郵件，說那又如何，它有什么用？這是一個很好的問題，所以讓我們從那里開始。該項目中的攝像頭模塊價格便宜（低于 10 美元）且功耗低，但分辨率也低（320x320），不完全值得捕捉您生活中那些難忘的時刻。但是，它非常適合在電池供電的設備中進行計算機視覺等工作。特別是，我有興趣將它與卷積神經網絡 (CNN) 一起使用，為此，我們需要數據！即使我要在公共數據上訓練我的 CNN，我通常也會使用專門來自設備的一些數據對其進行微調，或者至少使用來自目標設備的圖像進行測試。

規劃

視覺 FPGA 模塊

?

Vision FPGA SoM 是我的應用程序的目標平臺。它很小，包括 Lattice Semiconductor 的 FPGA 和 HiMax Imaging 的低功耗相機模塊。但是，沒有大容量存儲。為了收集圖像，我需要一塊帶有 SD 卡和微控制器的板子來將圖像傳輸到卡上。幸運的是，tinyVision.ai為 SoM提供了與 Adafruit Feather 兼容的板，因此它可以輕松地與許多 Feather 微控制器和 FeatherWings 一起使用。

我碰巧有一個 Feather M0 WiFi 和一個 Adalogger FeatherWing（注意：有一個 Feather 包括一個 M0 微控制器和一個 SD 卡，這會更方便，但在構建時缺貨）。由于我會將 Feather M0 與兩個獨立的 Wings（Adalogger 和 SoM）結合起來，下一步是檢查引腳沖突。

兼容性

Vision FPGA SoM 是一個安裝在 Feather 引腳兼容板上的模塊。所以最后我有一個四板堆棧！由于三個主板共享引腳，讓我們檢查引腳排列的兼容性。

Adalogger 使用的唯一引腳用于 I2C 接口（實時時鐘，本項目中未使用）和 SPI（SD 卡）。I2C 和 SPI 接口的公共引腳旨在由多個從機共享，因此這通常不是問題。兩塊板的 I2C 數據引腳上都有一個上拉寄存器，但在這種情況下似乎沒問題。但是，SPI 還需要一個單獨的從機專用的片選引腳，該引腳未標準化；它可以是任何 GPIO。在這種情況下，SD 卡芯片選擇使用引腳 GPIO 10，不幸的是，該引腳與 SoM 板上的復位相關聯。那顯然不行。不過，這很容易解決；我只是切斷了 SoM 板接頭的引腳，使其與 Feather 的 GPIO 10 引腳斷開連接。

構建

第一步是將這樣的堆疊接頭焊接到 Feather M0 板上。

?

這些接頭允許您將兩塊板連接到 M0，一個在下面，一個在上面。我將母頭焊接到 Adalogger 板上以堆疊在下方，將公頭焊接到 SoM 板上以堆疊在上方。只需確保將接頭焊接在視覺模塊連接器的另一側，以便相機安裝在堆棧的外部。

?

焊接完所有接頭后，只需將電路板推到一起并連接視覺模塊即可。

FPGA設計

對于那些可能不熟悉 FPGA 的人來說，它們本質上是可編程的硬件芯片。下圖描述了將相機模塊與 MCU 連接所需的硬件組件。

?

• I2C Master - 在開機時配置相機設置
• 圖像捕捉 - 將像素從相機傳感器讀取到內存
• SPI Slave - 從 MCU 讀取像素的接口

附加代碼庫中提供了實現這些組件的預構建 FPGA 映像。有關編程說明，請參閱 README。

阿杜諾素描

Arduino IDE 支持 Adafruit Feather 平臺。Adafruit 網站上有使用 Feather M0 的 IDE 的詳細說明，請參閱：Arduino IDE Setup

該sd_logger草圖在附加的代碼存儲庫中提供。它不需要任何配置；只需將其加載到 IDE 并將草圖上傳到 Feather M0。

用法

在 Vision FPGA SoM 上對 FPGA 進行編程并將sd_logger草圖上傳到 Feather M0 后，您就可以開始了。開機時，草圖將搜索第一個未使用的文件名并在大約 10 秒后開始捕獲圖像。默認情況下，它將每秒捕獲 1 張圖像。SoM 上的 RGB 燈最初是藍色的，但每次捕獲圖像時都會改變顏色，因此您可以判斷它是否在工作……以及它是否停止工作。

圖像以 PGM 格式寫入卡，文件名按順序編號為 CAMnnnn.PGM。圖像以圖像傳感器的原始格式捕獲（對于好奇的，它是拜耳過濾器圖像）。我提供了一個簡單的 Python 圖像轉換實用程序來將它們轉換為 RGB 圖像。

使用 pip 安裝實用程序，如下所示：

python -m pip install sxlogic

然后，您可以使用以下內容從計算機轉換 SD 卡上的所有文件：

python -m sxlogic.iconvert --debayer --glob F:\*.*

這里F:是 SD 卡路徑。

默認情況下會轉換為 TIFF 格式并保存到當前目錄。TIFF 是默認格式，因為它是無損格式。嘗試該-h選項以獲得更多選項。

結果

這是我對圖像記錄器所做的第一件事：

?

是的，這就是用橡皮筋綁在我的無人機側面的圖像記錄器！我的第一次飛行是非常災難性的，因為我在 GPS 準確性方面遇到了一些問題，而且我的財產充滿了無人機的危險。

這是我在后來的飛行中在一些更安全的飛行地點拍攝的無人機圖像。

?

?

?

?

1 / 2

?

?