對于自動駕駛的視覺系統而言，“看”到路人是一個基礎工作，更重要的是，能否能像人類一樣，判斷出路人下一個動作將是什么。來自密歇根大學的團隊，便研究了一種改進算法，讓自動駕駛視覺系統能夠對路人的行為進行預測。

視覺系統，不僅是用來看的，還能預測“未來”！

密歇根大學(University of Michigan)向來以自動駕駛汽車技術聞名，最近，他們又有了大動作——研究一種改進的算法，來預測路上行人的動作。

這種算法不僅考慮了行人在做什么，還考慮了他們是如何做的。這種肢體語言對于預測一個人接下來要做什么是至關重要的。

Arxiv地址：

https://arxiv.org/pdf/1809.03705.pdf

IEEE地址：

https://ieeexplore.ieee.org/document/8626436

密歇根大學團隊將研究成果發布在了Arxiv及IEEE中，有興趣的讀者可以訪問上方或者文末鏈接進行詳讀。

本文提出了一種基于生物力學的遞歸神經網絡(Bio-LSTM)，該網絡可以在全局坐標系下預測行人的位置和三維關節體位姿，該網絡能夠同時預測多個行人的姿態和全局位置，以及距離攝像機45米以內的行人(城市交叉口規模)。

“看”到更細節的動作，預測路人行動

關注路上行人并預測他們將要做什么是任何自動駕駛視覺系統的重要組成部分。

讓自動駕駛車輛理解路上行人的存在，并分析一些細節信息，會對車輛一下步如何操作產生巨大的影響。

有些公司宣稱其自動駕駛車輛的視覺系統，在這樣或那樣的范圍/條件下可以看到并標記“人”，但目前很少人提出，可以看到并標記像“手勢”或“姿勢”這樣更為細節的部分。

這種視覺算法可以(盡管現在不太可能)像識別一個人并觀察他在幾幀內移動了多少像素那樣簡單，然后從那個節點進行推斷。但人類的運動自然要比這復雜得多。

UM的新系統使用激光雷達和立體攝像機系統，不僅可以估計一個人的軌跡，還可以估計他們的姿勢和步態：

姿勢可以表明一個人是否在靠近或遠離汽車、是否在使用拐杖、是否在彎腰接電話等等；

步態不僅表示速度，也表示意圖。

例如，路人將頭轉向他們肩膀方向時，他們可能接下來會轉身，或者只是看了一眼肩膀然后繼續向前走；路人伸出手臂，他們可能在向某人(或車輛)發出停車信號。

這些額外的數據將有助于視覺系統對動作的預測，使得導航規劃和防止意外事件更加完備。

更重要的是，它只需要幾個框架就可以很好地完成工作——可能只需要包括單步和手臂的擺動。

這就足以做出一個輕松擊敗簡單模型的預測，這是一種關鍵的性能衡量指標。