端點人工智能是人工智能的新前沿，它將人工智能的能力下沉到邊緣設備。它帶來一種革新的數據管理方式：在本地搜集相關數據并在本地做出決策。它將以往僅僅用于計算數據的物聯網設備升級為集成人工智能的智能設備，從而增加設備實時決策的能力。總而言之就是使基于機器學習的智能決策在物理上更接近數據源本身。因此，嵌入式視覺下沉到端點設備，就不再僅僅是將圖像或視頻分解成像素，而是理解像素，理解它們的含義，并在發生特定事件時做出明智決策。

什么是嵌入式視覺？

嵌入式計算機視覺給機器賦予視覺，使它們能夠在機器學習和深度學習算法的支持下更好地了解環境。很多行業中都有依賴于計算機視覺的應用，它已經是黑科技中不可或缺的一員。準確地說，計算機視覺是人工智能（AI）領域的一部分，它使機器能夠從數字多媒體信息源中提取有意義的信息，并據此采取行動或提出決策建議。計算機視覺類似于人類視覺，但兩者之間仍存在一些差異。人類視覺的背后，是對所看到的各種不同東西都有理解的能力。而計算機視覺只能識別它已經被訓練過的內容，同時還有一定的錯誤率。另外一方面，嵌入式視覺通過訓練能讓設備在最短的時間內做出對特定對象的識別，從而能更加高效地對海量圖像進行分析。在這一方面，機器視覺優于人類視覺。

嵌入式視覺廣泛應用于消費和工業領域的智能終端，為設備提升附加值。簡單舉幾個例子：分析生產線上的產品質量、統計人群中的人數、識別物體、分析特定區域的內容等。

在端點設備實現嵌入式視覺應用時，設備的算力會是面臨的一個挑戰。但集中處理的話，從傳感設備傳輸到云端去分析的數據量可能非常大，并且超過網絡帶寬。例如，以30FPS（每秒幀數）運行的1920×1080攝像機可能會產生大約190MB/S的數據。除了隱私問題之外，數據從邊緣到云，再從云到端點的往返勢必會帶來延遲。這些限制都不利于實時應用。

物聯網安全也是市場要采用和發展嵌入式視覺需要考慮的一個問題。使用智能視覺設備的一個關鍵隱憂是敏感圖像和視頻是否有被不當使用的可能性。未經授權訪問攝像頭不僅侵犯隱私，而且可能導致更嚴重的后果。

端點設備上的人工智能視覺

Endpoint AI可以理解捕獲的圖像

Endpoint AI使用機器學習和深度學習來按照被訓練的模式去匹配和識別

為了獲得最佳性能，AI算法在終端設備上運行，而無需將數據傳輸到云端。數據由圖像識別設備捕獲，然后在同一設備中進行處理和分析。

端點設備的功耗限制仍然存在，微控制器或微處理器需要更高的效率來處理AI算法所需的大量乘累加（MAC）運算。

人工智能視覺的部署

現實世界中有無數AI視覺應用的使用場景。下面是一些例子，瑞薩可以提供全面的MCU和MPU解決方案，包括必要的軟件和工具，以實現快速開發。

智能門禁

語音和人臉識別給安全門禁系統帶來更多使用價值。然而實時識別，要求嵌入式系統具有非常高的算力和片上硬件加速。為了應對這一挑戰，瑞薩提供的MCU或MPU具有高算力，還集成了許多支持人臉和語音識別至關重要的功能，如內置H.265硬件解碼、2D/3D圖形加速以及內部和外部存儲器上的ECC，以消除軟錯誤并實現高速視頻處理。

工業控制

嵌入式視覺可以應用到包括安全操作、自動化、產品分類等多個場景。人工智能可以在生產過程中幫助執行多項操作，如包裝和分發，確保生產過程中所有階段的質量和安全。

交通運輸

計算機視覺也能改善交通運輸服務。以自動駕駛為例，使用計算機視覺對道路上的物體進行檢測和分類。它還可用于創建3D地圖和估算運動軌跡。自動駕駛汽車使用攝像頭和傳感器收集環境信息，然后通過模式識別、特征提取和對象跟蹤等視覺技術來解析數據，并做出最合適的響應。

嵌入式視覺可以用于多種用途，但都需要根據特定領域做定制和優化，使用該領域的數據集做特別的訓練。比如監控一個物理區域、識別入侵、檢測人群密度、統計人或指定物體或動物的數量、找人、根據車牌號找車、運動檢測以及人類行為分析。

案例研究——農作物病蟲害檢測

視覺人工智能和深度學習可以用來檢測各種異常——植物病蟲害檢測就是一個例子。研究結果表示，與以前費錢費力收效還慢的方法相比，計算機視覺能提供更好、更準確、更快速和更經濟的方案。

在該案例中使用的方法和步驟可應用于任何其他檢測，主要有三個步驟。

第一步在實驗室的計算機上執行，第二步部署在端點設備上，比如農場里的節點設備。步驟3中的結果顯示在用戶端的屏幕上。

結論：

我們正在經歷一場跨越多個細分市場的高性能智能視覺應用革命。端點設備中的微控制器和微處理器算力越來越強，這為新視覺應用帶來了巨大的機遇。瑞薩視覺人工智能解決方案通過在端點提供具有智能數據處理的嵌入式AI技術，幫助您增強整體系統功能。我們在邊緣設備的圖像處理解決方案具有低功耗特性、并支持多模型、多種特征推斷。現在就開始使用瑞薩電子的產品和工具開發您的視覺AI應用吧。

審核編輯：湯梓紅