我們已經(jīng)介紹過很多單目的動(dòng)作捕捉方案，最近的單目動(dòng)捕方案可以說大同小異，在原理上基本沒有什么區(qū)別，都是利用卷積神經(jīng)網(wǎng)絡(luò)識(shí)別對(duì)象，估算骨骼模型，再在此基礎(chǔ)上進(jìn)行渲染。這些解決方案的困難也都類似，例如老大難的遮擋問題，腳踝處的識(shí)別和骨骼模型往往估計(jì)不準(zhǔn)等等。

最近，清華、北航、南加州大學(xué)、馬克思普朗克研究所等的研究人員合作了一篇論文DoubleFusion: Real-time Capture of Human Performances with Inner Body Shapes from a Single Depth Sensor，提出了一種叫做DoubleFusion、基于單個(gè)深度攝像頭的解決方案，對(duì)人體動(dòng)作捕捉識(shí)別有更好的效果。

簡(jiǎn)單地講，DoubleFusion的原理是這樣的，一般深度攝像頭的動(dòng)作捕捉來源于深度數(shù)據(jù)，因此可以構(gòu)建人身體的表面形狀（即包含衣服在內(nèi)的外形數(shù)據(jù)），但這種方案難以在有遮擋的情況下實(shí)現(xiàn)捕捉，為了補(bǔ)足深度捕捉的缺憾，DoubleFusion將它和估算骨架模型的方案融合了起來，因此形成了一個(gè)“雙層表面表示”，外層是深度數(shù)據(jù)得到的表面重建的數(shù)據(jù)，內(nèi)層則是骨架模型數(shù)據(jù)，最終計(jì)算得到最合理的動(dòng)作數(shù)據(jù)。我們看到的完整的身體模型，實(shí)際上是內(nèi)外兩層數(shù)據(jù)相互制約、相互融合的結(jié)果。

具體來說，DoubleFusion的輸入只有捕獲的深度數(shù)據(jù)，而輸出是捕捉目標(biāo)的雙層表面。在骨架估計(jì)方面，它采用最近出現(xiàn)的基于Mask-RCNN的模型SMPL，可以非常迅速的得到比較完美的骨架模型，在外表數(shù)據(jù)方面，采用同樣是近年來提出的捕獲方法DynamicFusion。外表數(shù)據(jù)生成一個(gè)節(jié)點(diǎn)圖，主要用于判斷姿勢(shì)變化方式，骨架數(shù)據(jù)同樣形成節(jié)點(diǎn)圖，主要用作判據(jù)，盡量避免姿勢(shì)變化中違法骨骼連接的情況。

那么，這個(gè)方案的實(shí)際效果如何？

DoubleFusion方案比單方面骨架模型估計(jì)的方案效果更好，例如與BodyFusion相比較， 后者即使較緊身的衣服也會(huì)對(duì)結(jié)果產(chǎn)生影響，而前者捕捉的結(jié)果更為干凈、完整；另外DoubleFusion的每幀最大誤差更小，而且平均誤差也較小，在捕捉快速運(yùn)動(dòng)期間表現(xiàn)也要更好，還有，實(shí)時(shí)重建的身體形狀和顯示的目標(biāo)穿著看起來也要更合理一些。

從性能上來說，測(cè)試環(huán)境中，DoubleFusion每一幀執(zhí)行6次ICP迭代，進(jìn)行關(guān)節(jié)運(yùn)動(dòng)跟蹤需要21毫秒，9毫秒用于體積形狀和身體姿態(tài)的優(yōu)化；另外，輸入的深度數(shù)據(jù)屬于異步運(yùn)行處理，算上運(yùn)行時(shí)間不到1毫秒，綜合下來基本是每幀32毫秒。

然而，這種解決方案還是存在限制，例如，當(dāng)用戶穿著較厚的衣服時(shí)，這個(gè)方案在捕捉過程中會(huì)將衣服的厚度都當(dāng)成人的身體來計(jì)算，導(dǎo)致身體建模的誤差出現(xiàn)；另外，目前的方案還無法處理人物對(duì)象之間的交互，不過按照論文的說法，這將會(huì)在未來的研究中得到解決。

最后，必須要說的是，這篇論文提出的解決方案效果可能比較好，但要實(shí)現(xiàn)它，深度攝像頭至少是必須品，而現(xiàn)在的市場(chǎng)上仍然有很大一部分智能手機(jī)沒有深度攝像頭，否則之前的普通攝像頭單目動(dòng)捕也不至于備受關(guān)注。從這個(gè)方面來說，論文中解決方案的實(shí)用價(jià)值可能并沒有我們想象中那么大。