Derivative、Notch 和 Pixotope 等公司使用 NVIDIA Vid2Vid Cameo 和 3D 人體姿態估計工具來實時驅動表演。

NVIDIA AI 工具可為各個級別的創作者（視覺特效和動畫工作室、創意專業人士，甚至是攝像頭發燒友）實現由深度學習驅動的表演捕捉技術。

借助 NVIDIA Vid2Vid Cameo，創作者可以利用 AI 從專業攝像頭或智能手機拍攝的標準 2D 視頻中捕捉面部動作和表情。這種表演可實時用于為虛擬形象、人物或繪畫制作動畫。

通過 3D 人體姿態估計軟件，創作者可以捕捉散步、跳舞和武術表演之類的全身動作，從而利用 AI 讓虛擬角色栩栩如生。

對于沒有 3D 經驗的個人，這些工具可以助力他們使用智能手機視頻片段輕松制作創意項目動畫。專業人士可以更進一步，結合使用姿態估計和 Vid2Vid Cameo 軟件，將自己的動作傳輸到虛擬角色，用于直播或動畫項目。

創意工作室可以利用 AI 驅動的表演捕捉技術進行概念設計或預視覺化，從而快速傳達特定動作在數字角色上的樣子。

NVIDIA 通過 Vid2Vid Cameo 演示表演捕捉技術

NVIDIA Vid2Vid Cameo 通過 NVIDIA AI Playground 上的演示提供，只需兩個元素即可生成頭部特寫視頻：可制作動畫的虛擬形象或繪畫的靜止圖像，以及原始表演者說話、唱歌或移動頭部的視頻片段。

該模型基于生成式對抗網絡 (GAN) 繪制面部動作，以捕捉實時運動，進而將該運動傳輸至虛擬角色。經過 18 萬個視頻的訓練，該網絡學會了如何識別 20 個關鍵點以對面部運動進行建模，即編碼眼睛、嘴、鼻子、眉毛等部位的位置。

這些點從表演者的視頻流中提取，然后應用于虛擬形象或數字角色。在下面的演示中了解其工作原理，該演示將埃德加·愛倫·坡的《十四行詩 – 致科學》的表演轉換為藝術家 Gary Kelley 創作的一幅作家肖像。

視覺平臺集成 NVIDIA 的 Vid2Vid Cameo 和姿態估計

雖然 Vid2Vid Cameo 可以捕捉詳細的面部表情，但姿態估計 AI 可追蹤全身的運動，這是創作者處理負責執行復雜動作或在數字場景中移動的虛擬角色時所需的關鍵功能。

Pose Tracker 是一個卷積神經網絡模型，可作為 NVIDIA Omniverse 3D 設計協作和世界模擬平臺的擴展程序。它允許用戶上傳視頻片段或將直播視頻作為運動源進行串流，以實時制作角色動畫。創作者可以免費下載 NVIDIA Omniverse，并借助分步教程開始使用。

已將 NVIDIA AI 表演捕捉技術集成到自身產品的公司包括：

Derivative 是基于節點的實時視覺開發平臺 TouchDesigner 的制造商，已采用 Vid2Vid Cameo，以提供易于使用的面部追蹤。

Notch 是一家為 3D、視覺效果和直播活動視覺效果提供實時圖形工具的公司，該公司使用 NVIDIA 的人體姿態估計 AI 來幫助藝術家簡化舞臺設置。Notch 用戶無需依賴自定義硬件追蹤系統，而是可以使用標準攝像頭設備實時控制 3D 角色動畫。

Pixotope 是一家先進的虛擬制作公司，使用 NVIDIA AI 助力的實時人才追蹤來驅動實時制作的交互式元素。在近期的 NVIDIA GTC 大會上，這家總部位于挪威的公司分享了其工作成果，在屏幕上實現真實元素和虛擬元素之間的交互。