支撐工業(yè) 4.0 的關鍵技術之一是在邊緣實施機器學習推理的能力。根據應用程序的需要，機器學習推理可以分析遙測數據以對預測性維護進行建模，以防止出現停線情況?；蛘撸瑧贸绦蚩梢詸z查生產線上制造或包裝的物品。

對生產線上的項目進行目視檢查的能力需要一個能夠以高幀率（>30fps 幀/秒）運行圖像處理和機器學習算法的高性能系統(tǒng)。能夠實施能夠進行此類處理的解決方案也需要強大的功能。這正是 Xilinx 的 Xilinx ? Kria? K26 系統(tǒng)級模塊 (SoM) 和 KV260 Vision AI 入門套件等產品可以提供幫助的地方。

Xilinx ? Kria ? SoM 和 Vision AI 入門套件

Xilinx ? Kria ? K26 SoM及其 KV260 Vision AI 入門套件支持視覺和 AI 算法的快速原型設計。Kria K26 SoM 為設計工程師提供了一個高性能異構系統(tǒng)，它結合了高性能 Arm ?處理器和高級可編程邏輯。這種組合允許應用程序在處理系統(tǒng)或可編程邏輯中得到最佳實現。這種融合的結果是一個基于邊緣的解決方案，它提供了一個響應迅速、確定性和節(jié)能的解決方案。

Kria 不同于傳統(tǒng)的 Xilinx 產品，因為它是作為 SoM 交付的。SoM 不僅結合了集成電路，還包括必要的支持易失性和非易失性存儲器、時鐘和電源。Kria K26 SoM 由 SoC (XCK26) 以及 4GB DDR4 內存、16GB eMMC、512Mb QSPI、TPM 安全模塊和必要的電源基礎設施組成（圖 1）。雙 240 針連接器可分出 245 個 I/O，可輕松連接您的應用程序。

圖 1：Xilinx Kria K26 SoM 允許設計工程師利用可編程邏輯的并行特性與高性能 Arm ?處理器內核相結合。（來源：貿澤電子）

為幫助設計工程師著手開展工作，Xilinx提供了Kria KV260 Vision AI 入門套件。Kria KV260 Vision AI Starter Kit 包含一個用于 SoM 的載卡，它提供以下接口：

3個MIPI接口

USB 3

HDMI

顯示端口

國標以太網

模式

這些接口使設計工程師能夠創(chuàng)建復雜的基于視覺的 AI 解決方案。這些解決方案可以支持從 MIPI 到 USB 攝像頭和以太網實時流協(xié)議 (RTSP) 以及傳統(tǒng) HDMI 和 DisplayPort 接收器的一系列視頻源和接收器。

該入門套件還附帶一系列應用程序，展示了開始開發(fā)基于視覺的 AI 應用程序是多么容易。這些應用包括可以檢測人臉的智能相機；多流跟蹤和識別；缺陷檢測；和自然語言處理。Kria 開箱即用架構的優(yōu)點之一是能夠重新編譯不同的網絡并替換示例網絡。

設計工程師可以使用 Vitis ? AI 來利用常用的 AI 開發(fā)框架，例如 Caffe、TensorFlow 和 Pytorch。Vitis AI 支持在邊緣和云端加速 AI 推理算法。Vitis AI 技術堆棧支持常用框架，并提供在 Xilinx 設備上開發(fā)和部署 ML/AI 算法所需的一切，包括 Kria K26 SoM。

Vitis AI 堆棧的核心是 Xilinx 深度學習處理器單元 (DPU)，它在可編程邏輯中實現，并針對卷積神經網絡的實現進行了優(yōu)化（圖 2）?？捎糜趯崿FVGG、ResNet、GoogLeNet、YOLO、SSD、MobileNet、FPN等網絡。

圖 2：Vitis AI Stack 工作流提供了在 Xilinx DPU 上部署深度學習推理應用程序的過程。（來源：賽靈思）

為了利用可編程邏輯的并行特性，DPU 執(zhí)行已使用 AI 量化器量化為 int-8 的網絡。

在硬件中實現 DPU 模型并使用 Vitis AI 訓練和編譯網絡后，就可以使用 Vitis 開發(fā)軟件以創(chuàng)建完整的最終解決方案（圖 3）。

圖 3：Xilinx Vitis AI 部署模型圖（來源：Xilinx）

制造應用用例

讓我們更深入地了解 Xilinx Kria SoM 如何用于制造應用。創(chuàng)建制造應用程序不一定需要任何可編程邏輯設計。但是，它需要軟件開發(fā)以及使用 Xilinx 的 Vitis AI 訓練和編譯新機器學習模型的能力。

Kria K26 SoM 和 KV260 Vision 入門套件非常適合需要快速圖像處理的應用，例如檢測標簽是否已正確貼在生產線上的裝運箱上。在此示例中，設計工程師使用 Kria K26 SoM 在生產線上檢查包裹，并通過 Mobilenet 網絡正確識別盒子上標簽的位置?？梢詮陌_和錯誤標簽位置的圖像數據集中訓練該網絡（圖 4和圖 5）。

圖 4：使用 Mobilenet 網絡的正確標簽位置示例（來源：貿澤電子）

圖 5：使用 Mobilenet 網絡的錯誤標簽位置示例（來源：貿澤電子）

訓練完成后，該網絡可以部署在 Kria K26 SoM 上，結合 Linux GStreamer 支持，實時檢查生產線上的包裹（圖 6）。如果檢測到貼錯標簽的盒子，部署的應用程序可以做出適當的響應。

圖 6：Xilinx 正確識別正確標簽的示例（來源：貿澤電子）

結論

生產線是快節(jié)奏的環(huán)境。在發(fā)貨前檢測制造或包裝缺陷的能力對于提高交付和客戶滿意度至關重要。然而，自動化檢測設備需要在不減慢生產線速度的情況下進行處理和決策。Xilinx Kria K26 SoM 和 Kria KV260 Vision AI 入門套件等產品可以提供幫助。

設計工程師可以使用 Kria KV260 視覺 AI 入門套件快速開始開發(fā)視覺和 AI 原型設計解決方案并演示概念驗證。Kria K26 SoM 實現了設計的可移植性，從概念、原型設計到最終設計解決方案，所需的更改極少，除了與載卡的接口。

使用 Kria K26 SoM 可以降低與創(chuàng)建具有復雜異構 FPGA、存儲器和電源架構的嵌入式系統(tǒng)解決方案相關的開發(fā)成本和風險。通過結合 Vitis AI 堆棧和開箱即用的解決方案，Kria K26 SoM 使開發(fā)團隊能夠通過利用可編程邏輯的高性能特性來創(chuàng)建復雜的視覺和基于 AI 的解決方案，而無需進行可編程邏輯設計專家。

學到更多

如果您想了解有關 Kria SOM 的更多信息并查看為工業(yè)應用程序創(chuàng)建 AI 解決方案的分步演練，請參閱使用 KRIA SoM項目文章部署基于邊緣的 AI。

審核編輯黃昊宇