人體存在檢測(HPD)是視覺傳感的一種應用,是了解一個人何時在場,確定其狀態(tài)和環(huán)境的藝術。如果有效實施,與傳統(tǒng)方法相比,它有可能獲得許多好處,特別是在安全性和降低功耗方面。
這項技術以各種形式存在了一段時間。現(xiàn)在,精度已經(jīng)達到足以用于筆記本電腦、PC 或汽車應用(如駕駛員警覺性檢測)的程度。可以利用這項技術的其他領域包括智能家居和工業(yè)安全。
具有計算機視覺算法的傳統(tǒng)相機通常用于此應用,但這樣的設置可能矯枉過正,提供的信息遠遠超過必要的信息,并且為邊緣物聯(lián)網(wǎng)應用消耗太多功率。集成傳感器模塊也可以顯著降低成本,因為帶寬大大降低,允許使用低成本MCU,剛好足以處理一些簡單的AI算法。然后可以使用微小的ML代碼處理部署。
該模塊確定人或事物的存在位置以及它們相對于筆記本電腦的位置。它應該提供足夠的信息,以便直接在設備級別做出實時決策。
模塊中的 HPD
物聯(lián)網(wǎng)的一個可用的HPD解決方案來自Synaptics,以Emza Visual Sense的形式出現(xiàn)。優(yōu)化的機器學習 (ML) 計算機視覺算法在超低功耗邊緣 AI SoC 上運行。典型應用需要的內存不到 1 MB。
這些算法處理來自低功耗CMOS傳感器的數(shù)據(jù),通常將功耗保持在5至15 mW的范圍內。這可以根據(jù)實際需要進一步減少。這些功率水平正在接近現(xiàn)代筆記本電腦的電源噪聲本底。所有三個元素——Emza Visual Sense算法、低功耗邊緣AI處理器和CMOS傳感器——都可以駐留在同一個模塊中。
對于筆記本電腦,此模塊將在筆記本電腦打開時立即打開,只要筆記本電腦正在運行,該模塊就會保持打開狀態(tài)。當用戶離開時,會檢測到不存在,將筆記本電腦置于鎖定睡眠或掛起模式,直到用戶返回。
在開機和關機之間,有更多有趣的選項可以提供安全性和延長電池壽命。例如,當附近的人正在查看筆記本電腦屏幕時,用戶會收到安全威脅警報(稱為“旁觀者檢測”),并且可以降低顯示可見性,直到威脅過去。
為了節(jié)省功耗,Synaptics的HPD可以在用戶移開視線時調暗顯示屏(稱為“移開檢測”)。因為 ML 算法可以使用更準確的用戶習慣模型進行更新。隨著時間的推移,HPD 功能在速度、準確性、響應能力和實用性方面不斷改進。
可以使用飛行時間(ToF)傳感器設計類似的配置,而不是傳感器模塊。但是這樣的設備不能執(zhí)行面部識別或確定人與附近寵物之間的區(qū)別。
實際上,CMOS傳感器輸出不會持續(xù)記錄。相反,處理器每秒拍攝兩個快照或幀。該信息被存儲,然后與其他幀進行比較。
這些信息足以感知環(huán)境并確定人類的存在和運動,以及眼動追蹤,這反過來可以觸發(fā)另一種算法來處理面部識別。這是計算密集型的。
鑒于所檢測信息的性質,實施必須在邊緣執(zhí)行必要的處理,以確保不會將個人身份信息 (PII) 發(fā)送到上游云。
復雜的軟件設計
雖然處理此應用程序的硬件隨時可用,但算法開發(fā)方面并非易事。谷歌的AutoML向前邁出了一步,簡化了流程。AutoML 允許開發(fā)人員以有效的方式針對特定需求訓練其 AI 模型。
Synaptics Emza Visual Sense HPD技術已經(jīng)在戴爾和松下的筆記本電腦中實施。解決方案也正在圍繞該公司的KatanaAI SoC平臺構建,使HPD的優(yōu)勢能夠為家用電器和消費電子產(chǎn)品帶來好處。例如,電視可以知道誰在觀看并在不被詢問的情況下提供適當?shù)膬热荩踔量梢枣i定未成年人或其他未經(jīng)授權的用戶。
當Synaptics設計團隊首次開始這個項目時,一切都是為了滿足邊緣AI設計非常嚴格的超低功耗需求。該模型將所有必要的鉤子構建到芯片和軟件中,包括為圖像處理構建IP,從而避免了啟動主CPU的需要。
然后,算法需要縮小,通過減少所涉及的層數(shù)使其盡可能高效。由于傳感器采用相對較低的分辨率,因此必須進行適當?shù)呐嘤枺ǐ@取必要的數(shù)據(jù)集。
隨著新數(shù)據(jù)集的出現(xiàn),該技術不斷發(fā)展非常重要。
審核編輯:郭婷
-
mcu
+關注
關注
146文章
17123瀏覽量
350995 -
物聯(lián)網(wǎng)
+關注
關注
2909文章
44557瀏覽量
372799 -
機器學習
+關注
關注
66文章
8406瀏覽量
132567
發(fā)布評論請先 登錄
相關推薦
評論