機器學(xué)習(xí)算法開辟了一個可能性領(lǐng)域，可以將視覺嵌入到產(chǎn)品中，使我們的家庭、工作空間以及介于兩者之間的地方更安全、更高效。為了在更多用例中真正發(fā)揮智能視覺的潛力，開發(fā)人員需要更節(jié)能、更靈活的嵌入式解決方案，這些解決方案可以依靠電池供電，易于安裝和維護，同時仍能提供提供有效和智能所需的視覺性能感知我們想要檢測和監(jiān)控的事物。ML 建模和處理的新進展是智能相機廣泛采用的關(guān)鍵。

負擔(dān)得起的遠程視覺監(jiān)控過去意味著紅外運動檢測器：便宜、自主，但不一定有效。我的一個朋友最近用一套聯(lián)網(wǎng)的攝像機保護了他的后院。攝像頭使用紅外運動檢測喚醒，然后將視頻發(fā)送到應(yīng)用程序。

問題是，他后院的運動檢測意味著檢測從鄰居松鼠到微風(fēng)中吹來的風(fēng)鈴等一切事物。他的視頻剪輯太多了，以至于他可以理解地忽略了它們——包括有一天，一個竊賊從后院闖入他的房子。

直到最近，另一種選擇是將視頻輸入控制室，如果發(fā)生重要事情，您可能希望人類觀察者會在屏幕上注意到。這種方法提供了更多的保護，但費用和能源消耗要大得多。我們確實需要介于兩者之間的東西：便宜、電池供電，但比簡單的運動檢測更具辨別力。理想情況下，該系統(tǒng)將具有足夠的嵌入式智能，首先將事件確定為“真實事件”，然后再喚醒功能更強大的攝像頭，該攝像頭在向應(yīng)用程序發(fā)送通知后記錄和流式傳輸高分辨率視頻。

今天，機器學(xué)習(xí)技術(shù)的巨大進步極大地改進了無人值守的視頻分析。現(xiàn)在，帶有高性能深度學(xué)習(xí)推理加速器芯片或與云數(shù)據(jù)中心的寬帶連接的高清攝像頭可以顯著增強和改進傳統(tǒng)的安全和監(jiān)控方法。事實上，這樣的深度學(xué)習(xí)系統(tǒng)已經(jīng)展示了非凡的能力：面部識別、手勢解釋——例如，檢測入店行竊——甚至情緒估計——甚至檢測入店行竊的誘惑。或許這些能力已經(jīng)變得有點太了不起了。

但這些系統(tǒng)仍然很昂貴。它們需要外部電源和寬帶連接。而且由于它們的能力如此之強，它們會引發(fā)安全和隱私問題，這可能會限制它們的部署或增加監(jiān)管障礙。

天平的另一端，回到那個不起眼的紅外運動傳感器呢？仍然有許多應(yīng)用程序只檢測一個人的存在——而不識別他們或估計他們的心理特征——就足夠了。其中許多應(yīng)用程序需要外部電源的自主權(quán)，并且只能提供有限的連接回網(wǎng)絡(luò)。許多需要非常低的成本。他們呢？

最近在超低功耗機器學(xué)習(xí)加速方面取得的重大進展現(xiàn)在可以回答這個問題。

可能受益的應(yīng)用程序類型

要在上下文中理解這一突破，讓我們仔細看看一些用例。例如，在許多安全和安保應(yīng)用中，重要的是要知道您正在監(jiān)控的區(qū)域是否有人在場。這可能是為了檢測入侵者，確保沒有人靠近危險設(shè)備，或者只是打開一些燈以避免有人在黑暗的房間里絆倒。你并不真正關(guān)心這個人是誰，但你也不會對松鼠和管狀鈴鐺的誤報感興趣，比如那些在我朋友后院引發(fā)警報的東西。

事實證明，這對于機器學(xué)習(xí)來說是一個很好的應(yīng)用——事實上，對于一個非常簡單的機器學(xué)習(xí)模型來說。在這種情況下，模型是一組數(shù)據(jù)和指令，通過一個稱為訓(xùn)練的過程運行大量數(shù)據(jù)而建立，機器學(xué)習(xí)系統(tǒng)使用這些數(shù)據(jù)和指令來生成推理——例如，是的，有人的推理在圖像中，或者沒有，圖像中的人物是老板的金毛獵犬。

大流行創(chuàng)造了另一類應(yīng)用程序，不幸的是，這些應(yīng)用程序可能會伴隨我們一段時間：社交距離監(jiān)控。控制進入封閉空間以確保人員不超過容量限制至關(guān)重要。要做到這一點，最好的方法是在門口沒有人工看守的情況下，是一個可以在人員進出時統(tǒng)計人數(shù)的系統(tǒng)。是的，這只是人員檢測的另一種用途。這種系統(tǒng)的一個附加功能是檢測相關(guān)人員是否戴著口罩。對于經(jīng)過訓(xùn)練的機器學(xué)習(xí)模型來說，這也是一項相對簡單的任務(wù)。

事實證明，有一個完全不同的應(yīng)用領(lǐng)域密切相關(guān)。組織已經(jīng)更加關(guān)注他們在辦公空間上的花費，并根據(jù)空間的使用方式來決定如何最好地優(yōu)化空間。當(dāng)辦公室經(jīng)理考慮使用更小（且更便宜）且通常是共享的工作空間時尤其如此。但是你無法優(yōu)化你無法衡量的東西。突然，有許多新的問題。有人用這個走廊嗎？咖啡廳什么時候忙？有多少個熱桌可用？三個會議室都被占用多久？此類數(shù)據(jù)對于在不降低生產(chǎn)力的情況下最大限度地減少辦公費用至關(guān)重要。同樣，您無需識別人員或了解他們在做什么。您只想能夠檢測到它們的存在。

讓我們看一下當(dāng)今大多數(shù)公司所考慮的典型現(xiàn)實情況：一家公司在曼哈頓或舊金山市中心等昂貴的市中心地區(qū)的高層建筑中設(shè)有辦公室。他們有四十個隔間和五個會議室。隔間被占用了工作周的至少一部分。根據(jù)高架攝像頭的人員檢測/計數(shù)輸入，只有三個會議室的使用率比其他兩個多得多。現(xiàn)在，當(dāng)公司擴大規(guī)模，需要再雇用 20 人時，他們可以分析隔間和會議室的實際使用情況，而不是在同一棟大樓中租用另一層樓以支付高額租金。解決方案可能是將其中一個未使用的會議室改造成額外的 20 個隔間，或者提出一種靈活的混合模型，在人們需要時為他們提供工作空間，并最大限度地利用現(xiàn)有隔間。這將導(dǎo)致巨大的成本運營支出節(jié)省，并且可以隨著容量和勞動力習(xí)慣的變化而調(diào)整。

檢測特定屬性

這帶來了另一類應(yīng)用程序：合規(guī)性檢查。可以訓(xùn)練機器學(xué)習(xí)系統(tǒng)來檢測人的可見屬性。此人是否有可見的 ID 徽章？安全帽或呼吸器怎么樣？該人是否將點燃的香煙帶入易爆氣體泄漏的房間？

經(jīng)驗表明，機器學(xué)習(xí)模型可以比舊式視覺處理軟件算法更好地執(zhí)行這類檢測任務(wù)。機器學(xué)習(xí)模型也可以比人類監(jiān)視器更準(zhǔn)確和可靠，尤其是在需要長時間持續(xù)關(guān)注的情況下。當(dāng)任務(wù)是檢測時——不是識別個人、解釋手勢或其他需要基于大量精細細節(jié)進行細微推斷的任務(wù)——模型可以非常緊湊。

如果模型緊湊，并且如果視頻數(shù)據(jù)以適中的速率進入而不是以 60Hz 的頻率涌入，例如逐行掃描 UHD，那么所需的處理能力也可能適中。它需要的不僅僅是一個典型的微控制器芯片所能提供的，但遠遠低于你從為高性能計算設(shè)計的推理加速器或從耗電量大的 GPU 中獲得的東西。

這將是應(yīng)用近年來為超低功耗計算開發(fā)的技術(shù)的理想場所：存儲器、控制器和信號處理器。這些技術(shù)可以使機器學(xué)習(xí)推理加速器足夠快地完成視覺檢測任務(wù)，但功耗卻足夠低，可用于無人值守的電池供電操作。

加上恰到好處的速度會帶來額外的好處。這種設(shè)備有限的速度和內(nèi)存容量使得幾乎不可能將芯片用于未經(jīng)授權(quán)的任務(wù)，例如面部識別。這一事實可以大大減輕在對隱私監(jiān)管敏感的領(lǐng)域部署系統(tǒng)的監(jiān)管負擔(dān)。

一個可以提供這個的例子

事實上，這樣的超低功耗機器學(xué)習(xí)加速器已經(jīng)存在：Synaptics 的 Katana KA 10000 SoC。該芯片集成了一組處理器，包括一個 Arm CPU、多個 DSP 內(nèi)核和一個定制的神經(jīng)網(wǎng)絡(luò)加速器，為一系列不同類型的中等規(guī)模機器學(xué)習(xí)模型提供完整的推理加速平臺。

到目前為止，這種描述同樣適用于許多用于高性能計算的 AI 加速芯片。但是，當(dāng)您的目標(biāo)是數(shù)月的電池壽命而不是每秒數(shù)十次千兆操作時，您必須從一開始就以不同的方式做事。

這意味著從針對低功耗而非最高速度優(yōu)化的半導(dǎo)體工藝技術(shù)開始。這意味著設(shè)計的電路只消耗足夠的功率來完成手頭的任務(wù)，并且在不需要時關(guān)閉。這意味著選擇處理器架構(gòu)，例如 Arm Cortex-M33 CPU、DSP 內(nèi)核和專有的神經(jīng)處理單元，它們可以協(xié)作以盡可能少的電池消耗而不是盡可能少的時間延遲來完成給定的推理。它還意味著為攝像頭和麥克風(fēng)提供片上、低功耗存儲器和外圍接口。

對于將在現(xiàn)場使用的 SoC，處理敏感的個人數(shù)據(jù)，安全性也是首要考慮的問題。密鑰的安全存儲、安全啟動和代碼更新以及硬件輔助加密都是必須在硬件級別解決的問題。

在實踐中可以期待什么結(jié)果？

那么，專注于超低功耗的成功程度如何？Synaptics 聲稱 KA10000 可以處理傳入的視頻并每秒產(chǎn)生 10 次推理，同時使用一塊電池運行近三年。

對于非專業(yè)軟件開發(fā)人員來說，所有這些任務(wù)都可能令人生畏。該過程可能需要 6 到 9 個月——如果出現(xiàn)任何問題，甚至更長時間——因此部署邊緣 AI 設(shè)備可能會是一項耗時的工作，將時間表、預(yù)算甚至市場窗口都置于風(fēng)險之中。

成功需要硬件、軟件和 IP 提供商的協(xié)作生態(tài)系統(tǒng)。例如，Synaptics 通過與 Edge Impulse 等 MLOps 公司的合作，幫助加快了這一進程。使用帶有 Synaptics 的 Katana 平臺的 Edge Impulse 環(huán)境，客戶可以在幾天內(nèi)制作模型原型，并在幾個月內(nèi)構(gòu)建生產(chǎn)模型。這意味著差異化、超低功耗邊緣人工智能設(shè)備的低風(fēng)險和快速部署。

芯片行業(yè)首次響應(yīng)了廉價自主相機中對有效和特定用例機器學(xué)習(xí)的需求。現(xiàn)在提供的解決方案以極具吸引力的成本和性能點提供綜合但適合普通人的開發(fā)環(huán)境和完整的神經(jīng)網(wǎng)絡(luò)增強 SoC 的組合。這開辟了低功率人體檢測和其他視覺檢測能力的前沿，將以多種方式改善我們的生活。

審核編輯 黃昊宇