盡管深度攝像頭正在逐漸出現在許多手機手機品牌的高端機型上，但是單目、RGB攝像頭仍然是占據絕大多數設備的主流。這也就導致了現有的AR技術仍然是基于平面，很難去獲取環境的縱深。另外設備也很難捕捉并理解人體以及動作，無法表現更好的增強現實效果。

普及具備深度獲取能力的攝像頭仍需時日，而人們對于更好的AR體驗的追求已經等不及了，如何在不添加傳感器的條件下，讓單目視覺設備具備對場景縱深的理解能力，對人物動作的追蹤能力，成為增強現實視頻公司Octi攻克的重點。

在iOS端，Octi推出了一款名為“Octi”的APP，已經可以在App Store下載體驗

這款應用展示了他們的動態摳圖技術

識別動態的尬舞人體，選擇特效，例如變成透明人

將從別處摳下來的動態跳舞妹子放進同一個場景中

點擊邊框調出視頻工具條

和時下流行的短視頻結合起來似乎會有奇妙的效果。

在Octi的官網上能看到技術的簡要說明。

首先是移動實例分割。

所謂實例分割，就是機器自動從圖像中用目標檢測方法框出不同實例，再用語義分割方法在不同實例區域內進行逐像素標記。換言之，就是當場景中出現很多人的情況下，實例分割能夠區分出那些像素屬于第一個人，哪些屬于第二個人。

而Octi專有的人員實例分割方法能夠實現在移動設備（手機）上以高幀率運行。

為了讓機器具備理解人體及其運動的能力，Octi建立了成熟的機器學習和計算機視覺技術。

首先，它掃描人體，檢測關鍵點比如眼睛、鼻子、臀部肘部等。

然后利用這些點來構建骨骼模型

Octi獨特的3D重建技術結合使用神經網絡和運動學模型，比同類方法具有更高的精度。

使用人的姿勢、分割和一系列專有運動模型的先驗組合，Octi在移動端實現了人體的體積重建。

看來Octi采用的便是被丸子醬點名批評過的，通過在模擬出的骨骼模型上套上一個粗糙的人體外殼完成的人體3D模型重建（Facebook最新開源，普通RGB相機即可實時映射3D模型）考慮到在手機端各方條件都受限制，不能強求更多，實用就好。

為了讓單目RGB相機識別環境中的相對深度

Octi利用深度估計估計模型來區分圖像的前景和背景（即物體的遠近），這種能力加強了設備對于場景的語義理解，并且允許我們在不考慮背景噪聲的情況下提取人的詳細動作。

Octi日前確定了同NFL球員協會（美國國家橄欖球聯盟）確定了投資戰略和合作關系，球迷粉絲們可以通過Octi提供的技術同超過2000名橄欖球運動員進行視頻形象互動，就像我們在文章開頭看到的那樣。

動作捕捉似乎是個和我們普羅大眾相距甚遠的技術條目，Octi此舉卻告訴了我們，我們可以利用這項技術做很多有趣的事情，而且僅需要一個配備單目攝像頭的智能手機，就可以從場景中提取清晰人體動作，這將給AR技術的普及推廣進一步推波助瀾。

Octi不久前宣布獲得750萬美元投資，有了更多資金，Octi將繼續完善其計算機視覺科學家、機器學習工程師的研究人員團隊，或許能在技術上更進一步。