導讀

2023年以ChatGPT為代表的大語言模型橫空出世，它的出現標志著自然語言處理領域取得了重大突破。它在文本生成、對話系統和語言理解等方面展現出了強大的能力，為人工智能技術的發展開辟了新的可能性。同時，人工智能技術正在進入各種應用領域，在智慧城市、智能制造、智慧醫療、智慧農業等領域發揮著重要作用。

柴火創客2024年將依托母公司Seeed矽遞科技在人工智能領域的創新硬件，與全球創客愛好者共建“模型倉”，通過“SenseCraft AI”平臺可以讓使用者快速部署應用體驗人工智能技術！

本期介紹：模型案例：|汽車目標識別！

NVIDIA TAO工具包

NVIDIA TAO（Train, Adapt, Optimize）工具包是一個全面的企業級框架，旨在簡化AI模型的開發和部署。特別適用于計算機視覺和對話式AI應用，TAO工具包利用遷移學習的便利性，定制NVIDIA的預訓練模型并將其適用于各種行業特定任務。

NVIDIA TAO的主要功能

1. 預訓練模型:

- TAO 提供了涵蓋不同領域的大量預訓練模型，包括目標檢測、圖像分類、分割、自然語言處理等。

- 這些模型在大量數據集上進行訓練，并進行了性能優化，提供了強大的模型開發起點。

2. 遷移學習:

- 通過使用遷移學習，TAO 允許開發人員利用自己的數據微調預訓練模型，大大減少了從零開始訓練所需的時間、成本和復雜性。

- 遷移學習還幫助在較少標注數據的情況下達到更高的準確度。

3. 簡單的工作流程:

- TAO Toolkit 提供了簡化的工作流程，抽象了深度學習模型開發的復雜性。

- 用戶可以通過最少的編碼訓練、評估和優化高性能模型。

4. 部署就緒:

- 使用TAO Toolkit優化的模型可以部署在各種NVIDIA平臺上，如Jetson邊緣設備、NVIDIA Triton Inference Server和NVIDIA AI Enterprise。

- 這確保優化后的模型是生產就緒的、可擴展的和高性能的。

5. 性能優化:

- TAO包括模型剪枝、量化等優化技術，以提高模型效率而不影響準確性。

- 這些優化使模型適合在資源受限的環境中（如邊緣設備）部署。

6. 端到端的流程:

- TAO工具包支持從數據增強、訓練、剪枝、量化到部署的端到端流程，使從開發到生產的過渡無縫。

- 與其他NVIDIA工具和平臺很好地集成，提供了一個連貫的開發生態系統。

7. 企業支持:

- TAO工具包面向企業用戶，提供強大的支持、文檔和資源，以協助開發過程。

- 組織可以利用TAO加速其AI項目，將創新解決方案更快推向市場。

如何使用NVIDIA TAO

- 安裝: TAO工具包可以通過NVIDIA NGC訪問，NGC提供了工具包的容器化版本，便于在任何兼容的基礎設施上設置。

- 模型選擇: 從TAO模型庫中選擇預訓練模型，如用于圖像分類的ResNet、用于目標檢測的YOLO或用于NLP任務的BERT。

- 數據準備: 準備你的自定義數據集，確保其格式符合TAO的要求。

- 訓練: 使用簡單的配置文件和命令，利用你的數據集微調所選的預訓練模型。

- 優化: 使用TAO提供的自動優化技術，根據特定的部署環境優化模型性能。

- 部署: 導出優化后的模型，并使用NVIDIA的部署解決方案將其集成到你的生產環境中。

汽車目標識別

此模型由NVIDIA TAO工具包進行模型的訓練，用以識別馬路上的汽車目標，模型數據類型為TFLite。

可應用的領域

交通管理和監控：目標識別算法可用于監控交通流量、檢測違法行為（如闖紅燈、超速）、識別車牌和管理停車等。

智能停車系統：通過識別車輛和車牌，智能停車系統可以實現自動停車收費、優化停車資源分配和引導司機找到空余車位等功能。

車輛檢測與識別：用于分析視頻監控數據，以實現對特定車輛的跟蹤和識別，應用于安全和防盜系統。

在Grove Vision AI(V2)上部署模型

1、打開SenseCraft AI，如下圖所示。

2、連接到 CSI 接口攝像頭，給Grove Vision AI V2 連接CSI接口攝像頭，注意方向不能插反，如下圖所示。然后用數據線將Grove Vision AI V2連接到電腦的USB接口上即可。

3、打開SenseCraft模型助手網站，在設備中選擇“Grove Vision AI V2”再單擊右上角的“連接”按鈕，彈出串口連接窗口后點擊“連接”按鈕，如下圖所示。

當“連接”變成紅色的“斷開連接”按鈕時，表示連接成功了，如下圖所示。

4、在“可用的AI模型”列表中往下拉動找到“Trafficcamnet Detection”，并單擊此模型然后再點擊右上角的“發送”按鈕，如下圖所示。

5、等待一段時間的下載和燒錄固件的過程，完成后將打開右側的預覽窗口，現在就可以將Grove Vision AI V2的攝像頭對準汽車目標進行測試了，如下圖所示。

推理結果演示

Grove Al視覺模塊 V2套裝介紹

Grove Al視覺模塊 V2

OV5647-62攝像頭

Grove - Vision Al Module V2是一款拇指大小的人工智能視覺模塊, 配備Himax WiseEye2 HX6538處理器, 該處理器采用 ArmCortex-M55雙核架構。

它具有標準的CSI接口, 并與樹莓派相機兼容。它有一個內置的數字麥克風和SD卡插槽。它非常適用于各種嵌入式視覺項目。

有了SenseCraft Al算法平臺, 經過訓練的ML模型可以部署到傳感器, 而不需要編碼。它兼容XIAO系列和Arduino生態系統, 是各種物體檢測應用的理想選擇。

主要硬件配置

- 板卡基于WiseEye2 HX6538處理器, 采用雙核ARM Cortex-M55架構

- 配備集成Arm Ethos-U55微神經網絡加速單元, 兼容的樹莓派相機

- 板載PDM麥克風, SD卡插槽, Type-C, Grove接口, 豐富的外設支持樣機開發

- Seeed Studio XIAO的可擴展性, SenseCraft Al的現成AI模型用于無代碼部署。

- 支持各種有效的模型, 包括MobilenetV1、MobilenetV2、 Eficientnet-Lite、Yolov5和Yolov8.

寫在最后

SenseCraft-AI平臺的模型倉數量還很少，但是好消息是它支持自定義模型上傳并輸出推理結果，平臺會逐漸增加模型倉的數量和分享有愛好者設計的模型倉原型，敬請關注！