導讀

2023年以ChatGPT為代表的大語言模型橫空出世，它的出現標志著自然語言處理領域取得了重大突破。它在文本生成、對話系統和語言理解等方面展現出了強大的能力，為人工智能技術的發展開辟了新的可能性。同時，人工智能技術正在進入各種應用領域，在智慧城市、智能制造、智慧醫療、智慧農業等領域發揮著重要作用。

柴火創客2024年將依托母公司Seeed矽遞科技在人工智能領域的創新硬件，與全球創客愛好者共建“模型倉”，通過“SenseCraft AI”平臺可以讓使用者快速部署應用體驗人工智能技術！

本期介紹：模型案例：|花卉分類識別模型！

FCOS

FCOS?（Fully Convolutional One-Stage Object Detection）是一種基于全卷積的單階段目標檢測算法，它是一種無Anchor box的算法，實現了無Anchor、無Proposal，并且提出了Center-ness的思想，極大地提升了Anchor-Free目標檢測算法的性能。

FCOS的優點包括避免了Anchor Box帶來的復雜計算，如計算重合度IoU，避免了Anchor Box相關的超參數設置，這些設置對性能影響較大。

因此，FCOS可以與其他使用FCN結構的任務相統一，方便其他任務方法之間的re-use，減少了超參數數量，更簡單，同時也減少了計算復雜度，如IoU計算。

FCOS網絡結構

FCOS的網絡結構主要由三部分組成：Backbone、FPN（Feature Pyramid Networks）和Classification+Center-ness+Regression Head。

Backbone

Backbone是FCOS網絡的特征提取部分，通常采用深度卷積神經網絡（如ResNet、VGG等）來提取圖像的多尺度特征。這些特征圖不僅包含了豐富的語義信息，還保留了足夠的空間信息，為后續的目標檢測提供了有力的支持。

在FCOS中，Backbone輸出的特征圖尺寸逐層減半，形成金字塔結構。對于特征圖上的每一個點(x, y)，其映射回原圖的坐標可以通過公式(?s/2?+xs, ?s/2?+ys)計算得到，其中s為特征圖相對于原圖的下采樣倍數。這種映射關系使得FCOS能夠直接利用特征圖上的點進行目標預測，而無需預設Anchor boxes。

FPN

FPN（Feature Pyramid Networks）是一種用于多尺度目標檢測的網絡結構，它通過融合不同尺度的特征圖來增強網絡對不同尺寸目標的檢測能力。在FCOS中，FPN同樣扮演著重要的角色。

與Anchor Based的檢測器不同，FCOS通過限制不同層級特征圖上的邊界框回歸范圍來分配檢測任務。具體來說，FCOS將每個特征圖上的點分配給其最近的目標（如果存在的話），并根據目標的大小將其分配到不同的特征層級上。這種分配策略不僅提高了檢測效率，還使得網絡能夠更專注于處理與其層級相匹配的目標尺寸。

Classification+Center-ness+Regression Head

在FCOS中，每個特征圖上的點都被視為一個潛在的訓練樣本，用于進行目標分類、Center-ness預測和邊界框回歸。為了實現這些任務，FCOS在特征圖后接入了三個并行的卷積頭：Classification Head、Center-ness Head和Regression Head。

Classification Head：用于預測特征圖上每個點所屬的目標類別。在訓練過程中，只有當特征點位于某個目標的有效區域內時（即與目標的邊界框有足夠的重疊），才會被標記為正樣本并參與分類訓練。否則，該點被視為負樣本。

Center-ness Head：是FCOS的一個創新點，用于預測特征點上目標中心區域的相對位置。具體來說，Center-ness是一個0到1之間的值，表示該點到其所屬目標中心的距離遠近。在訓練過程中，Center-ness的值會根據點到目標中心的距離進行計算和標注。在推理過程中，Center-ness的值會與分類得分相乘作為最終的預測得分，以降低遠離目標中心的預測框的得分從而提高檢測性能。

Regression Head：用于預測特征圖上每個點到其所屬目標邊界框四條邊的距離。與許多Anchor-based的方法不同，FCOS直接回歸這些距離值而無需預設Anchor boxes。這種回歸方式不僅簡化了檢測流程還減少了計算量。·

FCOS性能優勢

減少了計算復雜度，由于摒棄了Anchor boxes機制FCOS避免了與之相關的復雜計算如計算重合度IoU等從而減少了計算量提高了檢測效率。同時FCOS還減少了與Anchor相關的超參數數量簡化了算法設計并降低了超參數調整的難度。

提高了檢測精度，通過引入Center-ness優化機制FCOS能夠降低遠離目標中心的預測框的得分從而提高檢測精度。此外FCOS還采用了多尺度預測與層級分配策略來處理不同尺寸的目標進一步提高了檢測性能。

增強了與其他任務的兼容性，由于FCOS采用了全卷積網絡結構因此它可以與其他使用FCN結構的任務相統一方便其他任務方法之間的re-use。這種兼容性不僅有助于實現多任務學習還能夠促進不同領域之間的知識共享和遷移學習。

花卉分類識別模型

該模型用來檢測花卉，可以識別郁金香（tulips）、向日葵（sunflowers）和粉玫瑰（roses）三種花卉。

花卉識別數據集

數據集下載地址

在Grove - VisionAIV2模塊上訓練和部署模型

SenseCraft Al平臺提供和簡單、方便的AI模型訓練和部署功能，可以讓技術小白也能快速進行特定場景的AI模型訓練和部署。

1、打開SenseCraft AI平臺，如果第一次使用請先注冊一個會員賬號，還可以設置語言為中文，在頂部菜單欄單擊【模型訓練】選項，如下圖所示。

平臺地址：https://sensecraft.seeed.cc/ai/#/model

2、進入【模型訓練】頁面后單擊左側的【分類識別類別】選項，如下圖所示。

3、單擊Class1和Class2右邊的修改分類名稱圖標，修改兩個類別名稱為roses（粉玫瑰）和sunflowers（向日葵）兩個圖像分類類別，再單擊底部的“添加類別”選項并修改類別名稱為tulips（郁金香），如下圖所示。

4、在每個分類選項中，單擊右邊的【...】圖標，單擊【導入圖片】打開導入圖像窗口，將下載好的數據圖片導入到每個類別中，這樣就導入了一定數量的數據集（至少100張），如下圖所示。

5、接著進行第二步：模型訓練，先選中“Grove（V2）”然后單擊【開始訓練】按鈕，如下圖所示。經過一段時間的訓練后，即可生成花卉分類圖像識別模型。

6、第三步是部署，先選中“Grove（V2）”選項，單擊【部署到設備】如下圖所示，按提示連接Grove vision AI V2硬件后開始進行模型部署。

7、部署完成后進入工作窗口，這時會打開攝像頭預覽功能，對郁金香（tulips）、向日葵（sunflowers）和粉玫瑰（roses）圖像，預覽窗口底部會看到預測的類別名稱和置信率，如下圖所示。

推理結果演示

Grove Al視覺模塊 V2套裝介紹

Grove Al視覺模塊 V2

OV5647-62攝像頭

Grove - Vision Al Module V2是一款拇指大小的人工智能視覺模塊, 配備Himax WiseEye2 HX6538處理器和Arm Ethos-U55嵌入式神經網絡加速單元（NPU）, 該處理器采用 ArmCortex-M55雙核架構。

Arm Ethos-U55 嵌入式神經網絡處理器（NPU）

嵌入式神經網絡處理器（NPU）是一種特別設計用于執行神經網絡計算的高效率處理器。它主要基于數據驅動并行計算架構，特別擅長處理視頻、圖像等大量的多媒體數據。NPU模仿了生物神經網絡的架構，與CPU、GPU相比，它能夠通過更少的指令（一條或幾條）完成神經元的處理，因此在深度學習的處理效率方面具有明顯優勢。

它具有標準的CSI接口, 并與樹莓派相機兼容。它有一個內置的數字麥克風和SD卡插槽。它非常適用于各種嵌入式視覺項目。

有了SenseCraft Al算法平臺, 經過訓練的ML模型可以部署到傳感器, 而不需要編碼。它兼容XIAO系列和Arduino生態系統, 是各種物體檢測應用的理想選擇。

主要硬件配置

- 板卡基于WiseEye2 HX6538處理器, 采用雙核ARM Cortex-M55架構

- 配備集成Arm Ethos-U55嵌入式神經網絡處理器（NPU）, 兼容的樹莓派相機

- 板載PDM麥克風, SD卡插槽, Type-C, Grove接口, 豐富的外設支持樣機開發

- Seeed Studio XIAO的可擴展性, SenseCraft Al的現成AI模型用于無代碼部署。

- 支持各種有效的模型, 包括MobilenetV1、MobilenetV2、 Eficientnet-Lite、Yolov5和Yolov8.

寫在最后

SenseCraft-AI平臺的模型倉數量還很少，但是好消息是它支持自定義模型上傳并輸出推理結果，平臺會逐漸增加模型倉的數量和分享愛好者設計的模型倉原型，敬請關注！