上海交通大學盧策吾團隊MVIG實驗室最新上線了他們此前開源的實時人體姿態(tài)估計系統(tǒng)AlphaPose的升級版。新系統(tǒng)采用 PyTorch 框架，在姿態(tài)估計標準測試集COCO上達到當前最高精度71mAP，同時平均速度20FPS，比Mask-RCNN速度快3倍。

AlphaPose是一個實時多人姿態(tài)估計系統(tǒng)。

今年2月，上海交通大學盧策吾團隊MVIG實驗室AlphaPose 系統(tǒng)上線，是首個在 COCO 數(shù)據(jù)集上可達到 70+ mAP 的開源姿態(tài)估計系統(tǒng)。本次更新，在精度不下降情況下，實時性是一大提升亮點。

新系統(tǒng)采用 PyTorch 框架，在姿態(tài)估計（Pose Estimation）標準測試集COCO validation set上，達到 71mAP的精度（比 OpenPose 相對提升17%，Mask-RCNN相對提升8%），同時，速度達到了20FPS（比 OpenPose 相對提高66%，Mask-RCNN相對提高300%）。

再次感受一下升級后AlphaPose的速度

檢測精度不變，平均速度比Mask-RCNN快3倍

人體關鍵點檢測對于描述人體姿態(tài)，預測人體行為至關重要。因此，人體關鍵點檢測是諸多計算機視覺任務的基礎。其在動作分類，異常行為檢測，以及人機交互等領域有著很廣闊的應用前景，是計算機視覺領域中一個既具有研究價值、同時又極具挑戰(zhàn)性的熱門課題。

AlphaPose系統(tǒng)，是基于上海交大MVIG組提出的 RMPE 二步法框架（ICCV 2017論文）構建的，相比其他開源系統(tǒng)在準確率有很大提高，比OpenPose相對提高17%，Mask-RCNN相對提高8.2%。

升級后，各個開源框架在COCO-Validation上性能，時間在單卡1080ti GPU測出指標如下：

基于PyTorch框架，在人體姿態(tài)估計模型中引入Attention模塊

新版 AlphaPose 系統(tǒng)，架設在 PyTorch 框架上，得益于Python的靈活性，新系統(tǒng)對用戶更加友好，安裝使用過程更加簡易，同時支持Linux與Windows系統(tǒng)使用，方便進行二次開發(fā)。此外，系統(tǒng)支持圖片、視頻、攝像頭輸入，實時在線計算出多人的姿態(tài)結果。

為了在兼顧速度的同時保持精度，新版AlphaPose提出了一個新的姿態(tài)估計模型。模型的骨架網絡使用 ResNet101，同時在其下采樣部分添加 SE-block 作為 attention 模塊——已經有很多實驗證明，在 Pose Estimation 模型中引入 attention 模塊能提升模型的性能，而僅在下采樣部分添加 SE-block 能使 attention 以更少的計算量發(fā)揮更好的效果。

除此之外，使用PixelShuffle + Conv進行3次上采樣，輸出關鍵點的熱度圖。傳統(tǒng)的上采樣方法會使用反卷積或雙線性插值。而使用 PixelShuffle 的好處在于，在提高分辨率的同時，保持特征信息不丟失。對比雙線性插值，運算量低；對比反卷積，則不會出現(xiàn)網格效應。

在系統(tǒng)架構方面，新版 AlphaPose 采用多級流水的工作方式，使用多線程協(xié)作，將速度發(fā)揮到極致。

AlphaPose 系統(tǒng)目前在COCO的 Validation 集上的運行速度是 20FPS（平均每張圖片4.6人），精度達到71mAP。 在擁擠場景下（平均每張圖片15人），AlphaPose系統(tǒng)速度仍能保持 10FPS 以上。