去年夏天，谷歌研究人員描述了一些創(chuàng)新，這些創(chuàng)新導(dǎo)致了圍繞使用動力學(xué)數(shù)據(jù)集執(zhí)行人類活動識別(HAR)的最新技術(shù)水平。

由于我們想讓開發(fā)新的AI 社交應(yīng)用程序變得更容易，因此我們強(qiáng)調(diào)將我們的方法專門用于您的自定義HAR 任務(wù)的簡單性。

我們還發(fā)現(xiàn)這種方法在為客戶構(gòu)建資源利用率和活動監(jiān)控演示“黃色沙發(fā)”方面非常有效，因為我們探索了級聯(lián)推理以提取有關(guān)人員的其他屬性。

姿態(tài)估計有助于表征活動并定位到感興趣區(qū)域以進(jìn)行二次推理

。OpenCV就足夠了。對于姿勢估計，我們使用通過流行的深度學(xué)習(xí)框架（如Tensorflow和Pytorch）實現(xiàn)的Openpose 。

準(zhǔn)確識別某些活動需要更高的時間分辨率和更高的幀速率，因此我們使用TensorRT轉(zhuǎn)換器在 Jetson Nano等 edgeAI 原型設(shè)備上優(yōu)化推理。

ActionAI 的主要編程抽象是一個可追蹤的人類，類似于這個pyimagesearch可追蹤對象。該對象有一種方法可以將 N（14 或 18）個新關(guān)鍵點的配置作為長度為 2N 的 numpy 數(shù)組放入循環(huán)緩沖區(qū)中。為了計算效率，我們更喜歡較小的緩沖區(qū)，但我們平衡了這一愿望，以提供足夠的信息作為二級模型的輸入。該對象還封裝了 id、邊界框或運(yùn)行附加推理的結(jié)果。

二次推理引擎對通過姿勢估計發(fā)現(xiàn)的每個人進(jìn)行深蹲與旋轉(zhuǎn)分類

為了跟蹤人物實例，我們使用了 scikit-learn實現(xiàn)Kuhn–Munkres 算法，該算法基于連續(xù)時間步之間邊界框并集的交集。這個博客很好地闡述了應(yīng)用這個算法來執(zhí)行匹配。

與其他 IVA 框架一樣，我們合并了視覺疊加層以支持 ML 可觀察性和內(nèi)省以及視覺敘事。

或者，我們可以將 ActionAI 與消息代理集成，以將推理結(jié)果流式傳輸?shù)皆贫艘赃M(jìn)行日志記錄或其他處理，類似于 Deepstream SDK 的參考應(yīng)用程序。

在另一個方向上，通過輪詢通過 USB 連接到 Jetson Nano 的 PS3 控制器的按鈕按下情況，我們可以輕松地以交互方式為每個時間步的人物實例注釋活動，就像我們對MuttMentor 所做的那樣。

這為使用 ActionAI、Jetson Nano、USB 攝像頭和 PS3 控制器豐富的輸入接口的人類活動識別、人類對象交互和場景理解任務(wù)提供了一個理想的原型設(shè)計和數(shù)據(jù)收集平臺。

在YogAI中，我們發(fā)現(xiàn)姿勢估計序列是從相對較少的樣本中識別運(yùn)動的強(qiáng)大特征。

在這里，我們對面部關(guān)鍵點進(jìn)行了實驗，發(fā)現(xiàn)了作為 Kaggle 的 DeepFake Challenge的一部分，用 Deep Fakes 生成的眉毛中的時間不一致。

真正的眉毛不會那樣做！

除了額外的關(guān)鍵點模型，我們還可以為每個可跟蹤的人物對象引入圖像紋理和顏色的上下文以及描述符。

雙路徑有助于以較低的頻率有效地處理顏色和紋理特征，同時以更高的頻率分析基于運(yùn)動的信息。

我們可以通過向配置為以不同頻率運(yùn)行的跟蹤器添加新方法來引入類似的慢-快建模范例。然后 ActionAI 可以結(jié)合額外的緩慢變化的顏色和紋理上下文來執(zhí)行動作識別。

ActionAI 在運(yùn)行基于 LSTM 的輔助分類器以及時識別關(guān)鍵點特征序列的活動方面表現(xiàn)良好。然而，我們可以在運(yùn)行基于 CNN 的動作識別模型之前引入方法來渲染頻譜圖以對該序列進(jìn)行傅立葉平滑。

最后，通過開發(fā) gstreamer 插件，我們可以實現(xiàn)更高的性能并進(jìn)一步推廣這項工作，同時將這種方法更無縫地集成到使用 Deepstream SDK 開發(fā)的應(yīng)用程序中。