支持高速邊緣人工智能（AI）處理，構(gòu)建鏈接云服務(wù)的最佳視覺系統(tǒng)

據(jù)麥姆斯咨詢報(bào)道，近日，索尼（Sony）公司宣布即將發(fā)布兩款智能視覺傳感器：IMX500和IMX501，這是全球首款配備人工智能（AI）處理功能的CMOS圖像傳感器。該CMOS圖像傳感器自身集成AI處理功能，可以實(shí)現(xiàn)高速邊緣AI處理和提取必要的應(yīng)用數(shù)據(jù)。當(dāng)使用云服務(wù)時(shí)，利用該傳感器構(gòu)建的視覺系統(tǒng)可減少數(shù)據(jù)傳輸延遲，解決隱私問題并降低功耗和通信成本。

索尼智能視覺傳感器為廣大應(yīng)用開發(fā)者提供了研發(fā)配備AI功能的攝像頭的機(jī)會(huì)，通過高速數(shù)據(jù)處理可實(shí)時(shí)跟蹤目標(biāo)對(duì)象，應(yīng)用領(lǐng)域包括智慧零售、智能安防、智能交通及智慧工業(yè)等，并且有助于構(gòu)建鏈接云服務(wù)的最佳視覺系統(tǒng)。

智能視覺傳感器（左：IMX500；右：IMX501）

物聯(lián)網(wǎng)的普及導(dǎo)致各種各樣的設(shè)備都將連接到“云”，并且從這些設(shè)備獲取的信息可通過云AI處理，這使得云信息處理系統(tǒng)的使用變得司空見慣。但是，在云中處理的信息量不斷增加，帶來了各種問題：數(shù)據(jù)傳輸延遲增加，阻礙了實(shí)時(shí)信息處理；將個(gè)人身份數(shù)據(jù)存儲(chǔ)在云中，造成用戶安全問題；云服務(wù)帶來的其它問題，如電力消耗和通信成本的增加……

索尼智能視覺傳感器由像素陣列芯片（感光功能）和邏輯電路芯片（包括計(jì)算和存儲(chǔ)功能）進(jìn)行3D堆疊而成，是全球第一款在邏輯電路芯片上集成AI圖像分析和處理功能的CMOS圖像傳感器。其中，像素陣列芯片獲取的信號(hào)利用傳感器中的AI處理，無需高性能處理器或外部存儲(chǔ)器，從而使邊緣AI系統(tǒng)得以發(fā)展。該傳感器輸出元數(shù)據(jù)（屬于圖像數(shù)據(jù)的語義信息）而不是圖像信息，從而減少數(shù)據(jù)量并解決隱私問題。此外，邊緣AI可以為通用應(yīng)用提供多種功能，例如具有高速AI處理的實(shí)時(shí)對(duì)象跟蹤，也可以根據(jù)用戶需求或系統(tǒng)使用位置等條件，通過重寫內(nèi)部存儲(chǔ)器來選擇不同的AI模型。

像素陣列芯片采用背照式（BSI）工藝，有效像素約為1230萬，可在寬視角下捕捉圖像信息。除了傳統(tǒng)的CMOS圖像傳感器運(yùn)算電路外，該邏輯電路芯片還集成了索尼專用于AI信號(hào)處理的數(shù)字信號(hào)處理器（DSP），以及用于AI模型的存儲(chǔ)器。這種配置消除了對(duì)高性能處理器或外部存儲(chǔ)器的需求，使其成為邊緣AI系統(tǒng)的理想選擇。

像素陣列芯片獲取的信號(hào)先通過ISP（圖像信號(hào)處理器）處理，然后在邏輯電路芯片上進(jìn)行AI處理，提取的信息作為元數(shù)據(jù)輸出，從而減少處理的數(shù)據(jù)量。另外，確保不輸出圖像信息有助于降低安全風(fēng)險(xiǎn)并解決隱私問題。除了傳統(tǒng)CMOS圖像傳感器記錄的圖像信息外，用戶還可以根據(jù)自己的需求和用途選擇數(shù)據(jù)輸出格式，包括ISP格式輸出圖像（YUV/RGB）和ROI（感興趣區(qū)域）特定區(qū)域提取圖像。

當(dāng)使用傳統(tǒng)CMOS圖像傳感器拍攝視頻時(shí)，必須為每個(gè)單獨(dú)的輸出圖像幀發(fā)送數(shù)據(jù)以進(jìn)行AI處理，從而導(dǎo)致數(shù)據(jù)傳輸量增加，并且難以提供實(shí)時(shí)處理。索尼智能視覺傳感器在邏輯電路芯片上執(zhí)行ISP處理和高速AI處理（MobileNet V1的處理時(shí)間為3.1毫秒），從而在單個(gè)視頻幀中完成整個(gè)過程。這種設(shè)計(jì)使得“在錄制視頻的同時(shí)提供高精度、實(shí)時(shí)的目標(biāo)跟蹤功能”成為可能。

用戶能夠?qū)⒆约哼x擇的AI模型寫入嵌入式存儲(chǔ)器中，并可根據(jù)用戶要求或系統(tǒng)使用位置等條件對(duì)其進(jìn)行重寫和更新。例如，當(dāng)在零售商場(chǎng)安裝集成智能視覺傳感器的多個(gè)攝像頭時(shí)，應(yīng)用可以橫跨不同的時(shí)間、地點(diǎn)（環(huán)境）或目的。當(dāng)安裝在商場(chǎng)入口時(shí)，它可以用來統(tǒng)計(jì)訪客數(shù)量；當(dāng)安裝在商店貨架上時(shí)，它可以用來檢測(cè)庫(kù)存短缺情況；當(dāng)安裝在商場(chǎng)天花板上時(shí)，它可以用于繪制商店訪客熱圖（檢測(cè)客戶聚集的位置）等。同時(shí)，用戶可以隨時(shí)改寫這些攝像頭中的AI模型，比如從“用于檢測(cè)熱圖的模型”改成“用于識(shí)別消費(fèi)者行為的模型”。

索尼智能視覺傳感器關(guān)鍵指標(biāo)：