對于沉浸式內容，在ar和vr中創建數字化身是一個需求，但同時是一個技術挑戰。對于初學者來說，這或許比在3D中創建對象和環境要困難得多。為什么？首先，人體結構比桌子或椅子更為復雜，所以更難復制；然后，我們已經特別熟悉人類的動作，所以我們的大腦能夠輕易發現最微小的差異；最后，對于AR/VR這樣的沉浸式媒介而言，人體動畫，特別既費時又存在重重的技術困難。當然，市場存在一系列的解決方案。但我們又應如何進行選擇呢？

　　日前，體三維視頻捕捉技術開發商Volograms撰文討論了一系列的解決方案及其優缺點，并希望這可以為大家提供一定的參考借鑒。

　　1.可定制虛擬化身

　　從卡通風格到類人風格，虛擬化身（有時稱為合成人類）是我們人類在數字空間中的對應定制角色。對于普通大眾而言，我們最為熟悉的例子包括Bitmoji、蘋果的Memoji和FacebookAvatars。但實際上，你可以發現一系列的公司都有把虛擬化身用于AR/VR。這種數字角色通常屬于高度可定制，允許你輕松改變膚色，頭發，衣服，配件，身高等等。

　　保真度：我們需要區分兩種類型：首先，高度程式化的虛擬化身保真度非常低，比如卡通類型的虛擬化身。它們的優點是，你可以變成別人難以通過外表或動作識別你的任何角色。實際上，即便是3D，我們對卡通角色都會感到相當舒適。

　　其他類型的虛擬化身嘗試實現高保真度，并使用非常逼真的特征。挑戰在于，我們的大腦會自動地對它們進行深入分析，而過于逼真的類人角色會導致恐怖谷效應。

　　一個有趣的方面是，行業存在允許你自動定制虛擬化身的解決方案（通常是使用一個人的照片）。

　　動畫性：一般來說，虛擬化身時都會設計成便于定制調整和制作動畫。根據虛擬化身解決方案，你將能夠實現各種各樣的手勢和姿態。另外，它們可能會附帶一個運動庫或允許你導入自己的動作。

　　沉浸感：在這一方面，低保真度的虛擬化身往往要優于嘗試實現高保真度的虛擬化身。在大多數情況下，你不會認為自己是在和一個真實人類分享這個空間，但這對你正在進行的工作而言可能是不重要。

　　成本：行業存在支持與特定AR/VR平臺集成的免費卡通化解決方案。你可以在UnityAssetStore等標準儲存庫發現功能有限，但成本和操作親民的虛擬化身解決方案。另一方面，你可以通過專業供應商尋找基于動捕技術，并且由人工智能驅動的高質量虛擬化身。

　　時間：通常，定制和配置虛擬化身的動畫是一個非常快速的過程，但前提是你正在使用的工具提供所需的定制和動畫選項。如果需要任何裁剪，這可能會成為一個棘手且漫長的過程，或者根本無法實現，比方說你希望移動虛擬化身的眉毛，但相關工具根本不提供所述選項。

　　總結：對于不需要高逼真度或沉浸感的內容，虛擬化身是一個出色的解決方案。動畫性和所需時間令其成為了交互性內容的強大選擇，如訓練模擬器或游戲（事實上，傳統的游戲角色可以視為虛擬化身）。然而，如果你希望實現真正的沉浸感，或者希望你的內容能夠給受眾留下深刻的印象，你應該尋找一個替代方案。

　　2.3D設計

　　人類的3D設計是使用專門的軟件從零開始創建人類角色的過程。你可以將其當作是繪畫人像，但這是在3D中進行。3D美術或專業設計師會創建達到特定細節級別的模型，然后用數字骨架對其進行綁定操縱，從而使其具有動畫效果。結果，你將得到一個獨特的虛擬化身。當然，要設計一個具有與真人相似的細節特征的3D角色，你將需要難以置信的專業知識量。頂級的3D專家會根據角色的個性為數字人類量身定制視覺外觀。為了減少復雜性，設計師通常從一個預先定義的模型，一個三維掃描，一個人體模型庫開始，并產生混合技術和結果。3D設計的角色不僅可用于AR和VR，過去的電影中同樣有廣泛應，如《指環王》中的咕嚕、《加勒比海盜》中的戴維·瓊斯、和《玩具總動員》中的伍迪等等。

　　保真度：你可以選擇不同的外觀風格：卡通、寫實、幻想等。只要有合適的美術、工具、時間和預算，你就能實現其他方法難以達到的保真度。

　　動畫性：這取決于3D設計的質量。設計精良的3D角色可以動畫化到令人難以置信的細節水平。頂級工作室甚至會用到深度學習引擎來驅動設計，這樣角色的一切，甚至膚色都會隨著動作而略有變化。在實踐中，對于一個普通的沉浸式項目，你可以用標準的工具和合理的動畫水平來設計角色，但不要期望太高的真實感。

　　沉浸感：同樣，這取決于你的設計質量。如果技巧高超，三維設計可以帶來高水平的沉浸感。低質量的設計可能會導致非常令人毛骨悚然的結果，或者只是給整個沉浸式體驗帶來一種低端的印象。

　　成本：根據你的方法，3D設計可能是最昂貴的解決方案。你需要內部人才來創建設計和制作動畫，或者是將工作外包。另外，根據選擇，3D設計工具和硬件可能需要你支付昂貴的價格。

　　時間：一個3D設計美術可能需要幾個月的時間來開發一個合適質量水平的人類角色。類似地，電影或3A游戲的角色可能需要專業設計師團隊花費數個星期的時間來開發。過程可以更快地完成，但這涉及到成本或質量的權衡。

　　總結：對于高端AR/VR內容所需要的獨特角色，而且不是直接從現實中捕捉的真實人物，3D設計可能是最好的解決方案，而你會看到游戲和電影大作常常會用到這種方法。如果你不追求高質量，但又無法通過定制虛擬角色的方法來獲得所需的結果，3D設計同樣值得你的考慮。但當然，前提是你擁有合適的人才和設備，以及足夠的預算。設計的類型必須根據你的用例進行調整。

　　3.3D掃描+動畫

　　三維掃描是一種使用專業技術來分析現實世界中的人或物，從而生成其數字三維副本的過程。這通常可稱為“數字孿生”或3D掃描。行業存在各種各樣的技術，而最常見的是深度傳感器和攝影測量。深度傳感器計算對象和傳感器本身之間的距離，而攝影測量則使用從不同位置和角度拍攝的照片，并使用專門的軟件將它們拼合在一起以形成三維模型。就其本身而言，人類的3D掃描就像是一個靜止的數字雕塑，它們需要用一個數字骨骼進行綁定操縱，并進行數字“蒙皮”，這樣才能動畫化。換言之，模型的關節和活動組件需要識別和編程，并且模型的形狀在這一過程中不會瘋狂地改變。

　　保真度：根據你能負擔的預算，你可以考慮不同的質量等級。好萊塢工作室使用高質量的3D掃描裝置，但你可以通過智能手機攝像頭來實現基本的3D掃描。保真度問題會在動畫化過程中出現：要人為地對三維掃描進行綁定操縱和蒙皮非常困難，這樣做通常會導致機器人般或木偶般的不自然效果。只有頂級工作室的合格3D美術團隊才能通過靜態掃描實現3D的逼真度。目前甚少能夠實現出色效果的自動化工具。

　　動畫性：如前所述，這是3D掃描的最大限制。3D掃描本質為靜態。綁定操縱和蒙皮是持續不斷的技術挑戰，若缺乏熟練的美術，標準工具將難以提供令人信服的結果。但如果保真度和沉浸感不是優先考慮事項，行業存在一系列值得考慮的軟件解決方案。

　　沉浸感：如果能以高標準拍攝并制作動畫，由3D專家團隊完成的3D掃描能夠實現令人信服的數字人類，并帶來高度沉浸感的體驗。對于采用標準的綁定操縱和蒙皮技術，所有質量級別的3D掃描都會有一種恐怖谷般的外觀和感覺。

　　成本：如果你希望自己進行3D掃描，一個3D掃描裝置通常需要你購買幾十個攝像頭，外加一系列的配件。攝影測量軟件的成本可以接受，而運行重建過程不是什么高深的科學。另一個選擇是雇傭一個3D掃描工作室來完成特定的工作，這甚至可能會降低成本。如果這兩個選項都不行，你可以使用一個攝像頭并從不同的角度捕捉人像，然后進行重建，但這將是一個耗時的細節向過程。

　　同樣，將3D掃描變成一個可動畫化的數字人類，你需要團隊擁有優秀的3D專業知識，或甚至不能提供最令人興奮的結果的昂貴軟件解決方案。

　　時間：如果你有你的三維掃描設備或有權訪問一家提供該服務的公司，三維模型的捕獲不是一個耗時的過程。就像上面提到的，3D掃描可以用一個攝像機從不同的角度捕捉一個人，但這需要時間和一定的專業水平。

　　標準動畫制作不是一個耗時的過程，但會導致有限的結果。為了達到一個像樣的質量水平，你需要更長的時間來完成捕獲后過程。你可以參閱這篇關于華納音樂如何為歌手CARYS的粉絲們制作體驗的文章，它說明了從3D掃描創建專業動態3D模型的背后，以及在使用動捕技術創建動作后所產生的效果。

　　總結：傳統上，3D掃描與動畫相結合一直是將真人帶到AR和VR或其他3D世界（如游戲）的首選方法。當交給合格的3D設計師團隊時，這是一個非常強大的工具組合。但在大多數情況下，你的公司可能缺乏這樣的團隊，所以3D掃描可能不是你的選擇。正如上述討論一樣，標準的綁定操縱和蒙皮技術會令模型看起來粗糙，有時甚至會出現恐怖谷效應。在這種情況下，你會犧牲沉浸感。體三維視頻（見下文）能夠解決這個問題，并你提供了一個更為自然的結果。當然，如果你正在創建一個較長的AR/VR內容或一個具有多個角色的內容，體三維視頻意味著比3D動畫掃描更大的文件。

　　4.2DBillboards

　　2DBillboards是一個集成到3D空間中的普通視頻剪輯，而你會感覺它仿佛是在3D之中。對于無法真正移動的AR/vr體驗（所謂的三自由度/3DOF），它是值得考慮的方案。在這種情況下，即使你身體移動，你感知虛擬環境的位置，包括Billboard都不會改變。但在糟糕的實現中，Billboards看起來就像是電影舞臺上的一塊扁平紙板，它會打破體驗的沉浸感。

　　保真度：作為一段視頻，當從單個角度看時，2DBillboards可能能夠提供高保真度。但它將局限于一個非常具體的視角，而且它不能與AR/VR體驗提供的3D效果和照明相結合，所以它很難描繪深度。

　　動畫性：2DBillboards幾乎不可能動畫化。你在原始視頻中錄制的內容就是你搗鼓的對象。諸如DeepFake等視頻編輯技術可能會幫助你稍微調整一下動作，但你無法創建一個交互式片段。

　　沉浸感：2DBillboards沒有沉浸感，對AR/VR而言是一個非自然的解決方案。在非常特殊的情況下（3DOF，特定的照明等），它們可能會實現不錯的效果。但即使你一動不動，人眼都會感覺到過于2D的元素。一般來說，在沉浸式應用程序中，當內容不靠近用戶位置且深度效果最小時，2DBillboards將能夠起效。

　　成本：這是2DBillboards最大的優勢。創建它們意味著制作正常的視頻（有或沒有綠屏），然后分割背景。硬件一點也不貴，只要有合適的軟件或一點時間，你不需要專門的技能就能進行操作。以一種看起來還過得去的方式將內容整合到AR/VR體驗中可能是一個更大的挑戰。

　　時間：視頻拍攝速度快，綠屏分割時間不應該太長。因此，所需的時間將很大程度上取決于你希望對內容進行集成的程度。

　　總結：2DBillboards一般不太適合AR/VR體驗。一旦用戶移動，魔咒就會打破。但我們建議在3種情況下使用2DBillboards：

　　當你的預算非常有限，但你又確實需要把一個特定的人物帶到體驗中；人物位于遠景，在一個用戶永遠不會靠近的位置；當你確實只是希望在AR或VR空間呈現一種高清視頻的外觀和感覺時。例如，這可能有助于你非常準確地描述紋理、透明度、頭發和其他難以在3D立體視頻中重現的元素。

　　5.體三維視頻

　　體積視頻是一種捕捉人或物并生成一系列三維模型的技術。換言之，體三維視頻之于3D掃描就像視頻之于攝影一樣。一般來說，你可以把體三維視頻的每一幀都看作是3D掃描。因為它直接捕捉現實，你可以用它把真實的人類準確地帶到AR/VR之中。由于它是三維，你可以從任何角度看到內容。從技術上講，體三維視頻就像3D掃描一樣，同樣是基于多攝像頭裝置，其中可以包括深度傳感器。事實上，一個體三維捕捉設備非常類似于一個3D掃描設備，只是它設置成記錄視頻而非圖片。

　　保真度：這是體三維視頻的關鍵優勢之一。它的優點是形狀和動作不是分開生成，而是直接在3D中捕捉移動的人物。沒有一種方法可以在沒有高質量美術的監督下達到這種自然逼真度。與其他技術類似，體三維視頻將根據你的預算和部署平臺提供不同級別的保真度。配備100多個攝像頭的精密裝置可以提供非常高的質量。但對于大多數目的來說，這可能是用牛刀殺雞，因為當你使用最先進的體三維視頻重建軟件時，你可以用15個攝像頭獲得非常逼真的結果。基于多個深度傳感器和攝像頭的更簡單裝置可能會產生具有噪點，低分辨率或根本不是完全三維的低質量內容。

　　動畫性：體三維視頻和普通視頻一樣不需要動畫。你可以從現實中捕捉AR/VR體驗所需的動作，從而使其具有最大的保真度。反過來，體三維視頻在重新設置動畫方面受到限制：你可以對其進行綁定操縱并對其進行蒙皮，但有可能會失去原始捕獲的真實性和保真度。與3D掃描相比，它有兩個主要優勢：

　　首先，你有關于人物如何運動的內置信息，因此你可以精準地確定驅動運動的數字骨骼。其次，你可以使用原始的動作并調整它們以更好地匹配你的故事（例如，改變時間、視線、方向），而不是完全重新設置動畫。事實上，有公司專門從事這種體三維內容的后期制作。未來，深度學習系統可能會從原始的體三維視頻中學習，并用全新的但逼真的動作來實現動畫捕捉。

　　沉浸感：與一個體三維人物共享一個空間將是僅次于現實的交互案例。像視頻一樣，一般的外表和動作，甚至是情緒都是以原始保真度捕捉，這樣的表達和反應最為真實。由于它是全三維，所以可以集成到AR或VR空間之中，并且可以從任何角度進行體驗。你同時可以添加一定的效果，例如讓體三維角色注視著用戶。

　　成本：如果你想搭建自己的體三維裝置，最簡單的機器都適合初學者，而且價格合理，只是不能提供專業的結果。最復雜的裝置可能要花費過百萬美元，但它們可以產生真正高端的結果。事實上，所需的空間可能是最為昂貴的資源，亦即專門的體三維捕捉空間。如果你與一個體三維捕捉工作室合作進行一次性項目合作，成本會高于2DBillboards和標準虛擬化身，但可能會低于3D設計或3D掃描+動畫，而且體三維視頻提供了更高的質量。一般來說，你不需要專業的人才，除非你想后期制作或重新制作你的捕獲動畫。

　　時間：這是體三維視頻之于其他方案的優勢之一。第一步是捕捉，它所花費的時間和普通的視頻拍攝差不多。過去，處理視頻是一個漫長的過程，但目前的云解決方案已允許處理過程在幾小時，甚至幾分鐘內完成。另一個優點是，獲得的結果可以直接從處理管道集成到體驗之中。

　　總結：如果AR/VR內容的關注點是人，需要以真實方式捕捉人物及相關的情感和動作，體三維視頻可能是你的最佳選擇。如果你需要在內容中加入一個特定的人物，比如名人、品牌大使、公司高管或藝術家，這一點尤其正確。但需要尤其注意的是：如果你的內容具有高度交互性（如游戲），你將需要結合特定的綁定操縱和蒙皮技術。

　　6.如何動畫化3D角色？

　　只有兩種方法（2DBillboards和體三維視頻）直接捕捉原始人類的動作。你可能會想知道“我如何以數字方式動畫化虛擬化身、我自己設計的3D角色或我的3D掃描呢？“從廣義上講，動畫可以分為兩類：

　　人為動畫：由人類設計或編程的動作。動作捕捉（mocap）：從真實人物提取的動作。

　　運動是一門人類藝術。我們對數字角色中的非自然運動非常敏感。人為動畫的成本可以很低，但它通常無法以高保真都描繪人類的運動和情感。從邏輯上講，動捕解決方案是一個更好的選擇，因為我們能夠捕捉和疊加真實的運動，但這存在代價：高質量動捕設置的成本要高于體三維捕捉設置。

　　最重要的是評估你的項目的需求。如果保真度和沉浸感對你的項目而言并不重要，你可以高興地選擇人為動作。另外，3D模型的質量和運動的質量需要齊頭并進。盡管卡通般的設計可以很好地配合簡單的動作，但為了避免恐怖谷效應，逼真的3D設計需要非常高的運動保真度。

　　總而言之，如果你的項目能夠支持不需要動畫的解決方案，如體三維視頻，則相關解決方案是確保非常自然和高端的人體運動，并且是獲得最具沉浸感效果的最佳方法。如果你依賴動畫，而且擁有預算，你可以選擇動捕。但最終重要的是，無論選擇的方案是什么，要創造令人信服和身臨其境的內容，關鍵都是你自己的創造力。

　　選擇正確的方法來來創建3D人物非常重要，有時這是一個漫長的過程。以上考慮事項可以幫助你在設計下一個AR/VR項目時的決策。你要確保為內容選擇正確的方法，因為正確的沉浸式體驗有助于建立你的信譽，并帶來更多的客戶和項目合作。