從單張圖片中估計人體的三維位姿是計算機視覺中一個重要的問題，不僅可以在人體重構和行為監控上發揮作用，更為機器人控制和遠程執行提供了潛在的解決方案。卷積網絡可以有效的從圖像中檢測人體的關鍵點，得到精確的2D關節位置。但想要直接通過2D關節位置學習出包含關節位置和骨骼旋轉角度的3D位姿是十分困難的，需要解決高度非線性的映射問題。最近，日本產業綜合技術研究院的研究人員提出了一種新的方法，通過結合骨骼結構的回歸器和基于3D位姿表達的交叉熱力圖回歸，實現了端到端的3D人體位姿預測，不僅能從單張RGB圖中預測出關節位置，同時還能準確得到連接在關節上的骨骼角度。此外研究人員還豐富了已有的MPII數據集并進行了有效的三維標注。

預測三維位姿存在的挑戰

最近在人體位姿估計方面的工作取得了很大進展，但例如像OpenPose等模型只能生成2D層面的關節信息，生成3D的關節信息面臨著一系列挑戰。首先，需要對三維的關節位姿進行準確有效的表達，這關系到最終預測的精度。先前的方法使用了熱力圖（體積和2D熱力圖+深度）的方法實現了精確的3D位姿預測。但目前利用卷積網絡預測3D關節還沒有獲得較好的效果。此外對于應用的角度，人們希望能夠同時獲得關節的位置和角度，即骨骼每一部分在空間中的位姿其次，對于3D人體位姿估計任務缺乏良好的、充分的數據集。相比2D的數據，3D關節位姿標記更為復雜耗時。雖然可以利用運動捕捉系統（MoCap）和RGB相機同時記錄，但其獲得的場景有限。例如Human 3.6M數據集只包含了10種物體的周圍場景，使模型不能得到充分訓練。

新方法

人體的骨骼結構具有天然的連續性和固定的結構空間，可以作為三維位姿估計的一個約束來使用。在機器人和生物力學領域，研究人員們經常會使用正逆運動學的研究方法，在統計模型和人體骨架的約束下（骨骼相對長度、關節運動空間和對稱性等），從MoCap的2D關鍵點結果計算出3D位姿。在這一工作中，研究人員提出了SkeletonNet模型，通過結合骨骼結構和關節3D位置的熱力圖表示實現了3D人體關節位姿的高精度估計。這一模型主要由負責從輸入圖像獲得初始解的骨旋轉網絡，基于此利用卷積熱力圖回歸器來恢復出更為精確的結果。模型的架構如下圖所示：

骨旋轉回歸器（Bone rotation regressor）。首先，骨旋轉回歸器的任務是從輸入圖像中預測出人體全局的選擇信息以及每一個骨頭相對于整體的局部旋轉信息。由于人體骨骼構造的特性，人體的全局位姿特征具有一系列離散的模式。例如坐姿、站立和躺下等姿勢都可以用離散的全局模式來表示，所以研究人員利用了分類器的原理來預測全局位姿。此外，每一個關節的運動空間在一定范圍內是連續的，這意味著關節的局部角度預測可以用回歸模型很好的建模。

正交化（Gram Schmidt orthogonalization layer）。在通過分類器得到全局位姿RotG以及每個關節的局部旋轉RotB后，相乘就可以得到關節位姿的初始解了。但此時面臨著一個問題，如果這兩個矩陣不是正交陣的話，生成的位姿在尺度和外形上就會畸變。為了解決這個問題，研究人員又在結果添加了格拉姆施密特正交層來對先前得到的矩陣進行變換。將變換后的選擇矩陣相乘就可以得到每個關節有效的初始位姿，并通過初始位置矢量和角度關系計算得到關節的絕對位置。交叉熱力圖回歸器（Cross heatmap regressor）。為了得到更為精確的結果，研究人員們提出了交叉熱力圖的方法來優化每個關節三維位姿的最終預測。這種交叉熱力圖由xy和zy方向堆疊的熱力圖構成，兩個平面足夠描述關節在三維空間中的信息。將關節的三維位置投影到二維坐標中，并經過一系列可微運算可以得到每個關節的交叉熱力圖，通過回歸來優化最終關節位置。最終的網絡的損失函數如下所示：

分別表示全局選擇、每個骨頭的旋轉、最終的旋轉、位置和交叉熱力圖損失。

數據集

為了對網絡進行充分的訓練，研究人員對MPII數據進行了3D標注，利用PMP（projected matching pursuit）等方法得到了原數據集中關節的三維位置，并利用標注工具標注了3D位姿。最終得到了10291張標記圖像。

結果

實驗在重建誤差、旋轉和MPJPE(每關節平均位置誤差)上到得到了較好的結果。相較于今年cvpr的87.97mm的結果，這篇文章的MPJPE達到了69.9mm。

下圖中可以清楚的看到使用了格拉姆正交矩陣和交叉熱力圖對結果的提升作用，其中正交化讓生成結果的尺度和外形更加合理，而熱力圖回歸則大幅度的提高了模型預測的精度。

研究人員希望在未來繼續探索基于圖像的人體監測應用，包括從單張圖像檢測人體的形態、體重、接觸力甚至關節的扭矩等等。