在嵌入式系統中，推理可以在各種片上處理單元上運行，如中央處理單元（CPU），GPU，數字信號處理器，FPGA邏輯，專用加速器或這些選項的任意組合。機器學習推理功能通常報告為每秒兆（兆卡，千兆或萬億）操作（MOPS，GOPS或TOPS）。

選擇嵌入式處理器以在邊緣運行機器學習推理

如今有多種選擇，可能很難選擇合適的設備或設備組合來進行推理。GPU在神經網絡模型訓練方面的成功可能導致人們誤以為GPU也是運行推理的最佳選擇。存在將給定設備的性能與可以執行許多TOPS的GPU進行比較的趨勢。但是，TOPS可能不是您應該考慮的唯一參數。

首先，引用的TOPS數字是理論上的。對于許多設備，內存訪問和數據總線基礎設施無法擴展到核心或子系統處理功能；因此，在系統上實現的實際吞吐量可以遠低于理論上引用的吞吐量。將理論上可實現的TOPS視為比較的唯一參數并不是一個好方法。可實現的吞吐量（可低至理論計算性能的20％）是更相關的度量。某些設備可能在不同的網絡模型中表現不佳，而其他設備可能具有吞吐量作為分辨率，批量大小等的函數。批處理可能適用于云環境或培訓，但許多嵌入式應用程序具有不允許的延遲限制批量輸入框架。比較TOPS時，

并非所有機器學習模型都需要按幾個TOPS的順序進行處理。許多應用程序可以在MOPS或GOPS的性能預算內解決。了解應用程序的性能，延遲和準確性需求是關鍵的第一步。

用于基于視覺的對象分類任務的流行卷積神經網絡（CNN）模型，如GoogLeNet ，ResNet，ResNext和DenseNet ，被設計用于桌面或云。在嵌入式處理器上原樣使用它們可能需要大量的GOPS和 TOPS，這反過來會增加系統成本和功率要求。隨著時間的推移，機器學習網絡模型技術已發展為嵌入式處理器友好型。諸如高效網絡配置，修剪，稀疏性和定點量化等技術已經證明可以顯著降低性能要求（數量級），對精度的影響可以忽略不計。

其他需要考慮的因素包括系統集成，器件特性和器件的長期可用性。要降低總體成本，請尋找集成應用程序所需外圍設備和接口的設備。例如，如果您的應用程序是基于機器視覺的智能工廠的工業應用程序，必須通過工業以太網協議或其他協議進行通信，則集成的片上系統可能是最有效的解決方案。

最后但同樣重要的是，還應該考慮軟件開發成本。能夠提供成熟軟件開發套件以及良好工程支持的供應商可以幫助降低風險，降低開發成本并實現可以按時交付的更優質產品。

來源：朗銳智科