5月15日消息，據外媒報道，索尼公司宣布即將發布兩款智能視覺傳感器，即世界首款配備了AI處理功能的圖像傳感器。圖像傳感器本身包括AI處理功能，可實現高速邊緣AI處理和僅提取必要的數據，在使用云服務時可減少數據傳輸延遲，最大程度地減少隱私問題，并降低功耗和通信成本。

　　這些產品擴大了開發配備人工智能攝像頭的機會，使零售和工業設備行業的各種應用成為可能，并有助于構建與云連接的最佳系統。

　　當前，物聯網的普及導致所有類型的設備都連接到云上，使得信息處理系統的使用變得司空見慣，從這些設備獲得的信息通過云上的AI進行處理。但是，云中處理的信息量不斷增加，帶來了各種問題：數據傳輸延遲增加，阻礙了實時信息處理；與在云中存儲個人可識別數據相關的用戶的安全問題；以及云服務帶來的其他問題，如電力消耗和通信成本的增加。

　　新的智能視覺傳感器具有一個由像素芯片和邏輯芯片組成的堆疊結構，他們是世界首款在邏輯芯片上配備AI圖像分析和處理功能的圖像傳感器。像素芯片采集的信號通過傳感器上的AI進行處理，消除了對高性能處理器或外部存儲器的需求，使邊緣AI系統得以發展。傳感器輸出元數據（屬于圖像數據的語義信息）而不是圖像信息，從而減少了數據量并最小化了任何隱私問題。此外，AI的能力使得能夠為多用途應用程序提供多種功能，例如使用高速AI處理的實時目標跟蹤，也可以根據用戶需求或系統使用位置的條件，通過重寫內部存儲器來選擇不同的AI模型。

　　該智能視覺傳感器具有以下特點：

　　首先，是首款配備了AI處理功能的圖像傳感器。該像素芯片是背光的，具有大約12.3款有效的百萬像素，可在廣角范圍內捕捉信息。除了傳統的圖像傳感器操作電路外，該邏輯芯片還配備了索尼原裝的專用于AI信號處理的數字信號處理器（DSP），以及AI模型的存儲器。這種配置消除了對高性能處理器或外部存儲器的需求，使其成為邊緣AI系統的理想選擇。

　　其次，可進行元數據輸出。像素芯片采集的信號通過ISP（圖像信號處理器）進行處理，在邏輯芯片的處理階段進行AI處理，提取的信息作為元數據輸出，減少了處理的數據量，確保圖像信息不被輸出有助于降低安全風險和最小化任何隱私問題。除了傳統圖像傳感器記錄的圖像外，用戶還可以根據自己的需要和用途選擇數據輸出格式，包括ISP格式輸出圖像（YUV/RGB）和ROI（感興趣區域）特定區域提取圖像。

　　第三，具有高速AI處理功能。當使用傳統圖像傳感器記錄視頻時，有必要為AI處理的每個單獨輸出圖像幀發送數據，從而增加數據傳輸并使其難以提供實時性能。索尼的新傳感器產品執行ISP處理和高速AI處理（3.1款MobileNet V1*2）在邏輯芯片上的毫秒處理，在單個視頻幀中完成整個處理。這種設計使得在錄制視頻的同時提供高精度、實時的目標跟蹤成為可能。

　　最后，可任意選擇AI模型。用戶可以將自己選擇的AI模型寫入到嵌入式存儲器中，并可以根據其要求或系統使用位置的條件對其進行重寫和更新。例如，當使用本產品的多個攝像頭安裝在零售位置時，一種類型的攝像頭可以跨不同的位置、環境、時間或目的使用。當安裝在設施入口時，它可以用來計算進入設施的訪客數量；當安裝在商店的貨架上時，它可以用來檢測庫存短缺；當安裝在天花板上時，它可以用于熱圖商店訪客（檢測許多人聚集的位置）等。此外，給定相機中的AI模型可以從用于檢測熱圖的模型重寫為用于識別消費者行為的模型。