云中 AI 驅(qū)動(dòng)的化身

數(shù)字助理和化身可以有很多不同的形式和形狀，從普通的文本驅(qū)動(dòng)聊天機(jī)器人到完全動(dòng)畫的數(shù)字人和可以看到和聽到人的物理機(jī)器人。這些化身將填充虛擬世界，幫助我們創(chuàng)建和構(gòu)建東西，成為品牌大使和客戶服務(wù)代理，幫助您在網(wǎng)站上找到東西，在駕車途中接受訂單，或推薦退休或保險(xiǎn)計(jì)劃。

一個(gè)實(shí)時(shí)交互式 3D 化身可以提供一種自然、迷人的體驗(yàn)，讓人們感覺更舒適。基于人工智能的虛擬助理還可以使用非語(yǔ)言提示，如面部表情和眼神交流，以加強(qiáng)溝通，了解您的請(qǐng)求和意圖。

但大規(guī)模構(gòu)建這些化身應(yīng)用程序需要廣泛的專業(yè)知識(shí)，包括計(jì)算機(jī)圖形、 AI 和 DevOps 。當(dāng)前大多數(shù)動(dòng)畫化身的方法都利用傳統(tǒng)的運(yùn)動(dòng)捕捉解決方案，這對(duì)于實(shí)時(shí)應(yīng)用來(lái)說(shuō)是一個(gè)挑戰(zhàn)。

尖端的 NVIDIA AI 技術(shù)，如 Omniverse Audio2Face 、 NVIDIA Riva 和 NVIDIA Metropolis ，通過使虛擬形象的運(yùn)動(dòng)由音頻和視頻驅(qū)動(dòng)，改變了游戲。將角色動(dòng)畫直接連接到化身的會(huì)話智能，可以更快、更容易地大規(guī)模設(shè)計(jì)和部署交互式化身。

創(chuàng)建化身時(shí)，還必須將其集成到應(yīng)用程序中并進(jìn)行部署。這需要強(qiáng)大的 GPU 來(lái)驅(qū)動(dòng)復(fù)雜 3D 角色的渲染和將其帶入現(xiàn)實(shí)生活的 AI 智能。單片解決方案針對(duì)特定端點(diǎn)進(jìn)行了優(yōu)化，而云本地解決方案在所有端點(diǎn)（包括移動(dòng)、 web 和有限的計(jì)算設(shè)備，如增強(qiáng)現(xiàn)實(shí)耳機(jī)）上的可擴(kuò)展性更強(qiáng)。

NVIDIA Omniverse 虛擬化身云引擎（ ACE ）通過交付所有必要的 AI 構(gòu)建塊，大規(guī)模地將智能化身變?yōu)楝F(xiàn)實(shí)，從而幫助解決這些挑戰(zhàn)。

Omniverse ACE 和 AI 微服務(wù)

Omniverse ACE 是一個(gè)云本地 AI 模型和微服務(wù)的集合，用于輕松構(gòu)建、定制和部署智能化和參與性化身。這些 AI 微服務(wù)為交互式化身的后端提供動(dòng)力，使這些虛擬機(jī)器人能夠看到、感知、智能對(duì)話，并向用戶提供建議。

Omniverse ACE 使用 Universal Scene Description （USD） 和 NVIDIA Unified Compute Framework （ UCF ），這是一個(gè)完全加速的框架，使您能夠?qū)?yōu)化和加速的微服務(wù)結(jié)合到實(shí)時(shí) AI 應(yīng)用程序中。

每個(gè)微服務(wù)都有一個(gè)有限的域上下文（動(dòng)畫 AI 、對(duì)話 AI 、視覺 AI 、數(shù)據(jù)分析或圖形渲染），可以從 UCF Studio 獨(dú)立管理和部署。

AI 微服務(wù)包括以下內(nèi)容：

動(dòng)畫 AI： Omniverse Audio2Face 簡(jiǎn)化了 3D 角色的動(dòng)畫，以匹配任何音軌，幫助用戶為游戲、電影或?qū)崟r(shí)數(shù)字助理制作角色動(dòng)畫。

對(duì)話 AI： 包括語(yǔ)音 AI 的 NVIDIA Riva SDK 和自然語(yǔ)言處理的 NVIDIA NeMo Megatron 框架。這些工具使您能夠快速構(gòu)建和部署提供高精度、富有表現(xiàn)力的聲音和實(shí)時(shí)響應(yīng)的尖端應(yīng)用程序。

視覺 AI： NVIDIA Metropolis 為個(gè)人開發(fā)者、高等教育和研究以及企業(yè)提供了從模型開發(fā)到部署的計(jì)算機(jī)視覺工作流。

推薦 AI： NVIDIA Merlin 是一個(gè)開源框架，用于大規(guī)模構(gòu)建高性能推薦系統(tǒng)。它包括簡(jiǎn)化推薦程序構(gòu)建的庫(kù)、方法和工具。

NVIDIA UCF 包括經(jīng)驗(yàn)證的部署就緒微服務(wù)，以加速應(yīng)用程序開發(fā)。從應(yīng)用程序中抽象出每個(gè)域，減輕了對(duì)低級(jí)域和平臺(tái)知識(shí)的需求。可以使用 NVIDIA SDK 創(chuàng)建新的和自定義的微服務(wù)。

注冊(cè)以獲得有關(guān) UCF Studio Early Access program 的通知。

沒有用于云部署的代碼設(shè)計(jì)工具

應(yīng)用程序開發(fā)人員將能夠使用 NVIDIA UCF Studio 將所有這些基于 UCF 的微服務(wù)整合在一起，這是一種無(wú)代碼應(yīng)用程序構(gòu)建工具，用于創(chuàng)建、管理應(yīng)用程序并將其部署到私有或公共云。

設(shè)計(jì)可視化為微服務(wù)處理管道的組合。使用拖放操作，您可以快速創(chuàng)建和組合這些管道，以構(gòu)建功能強(qiáng)大的應(yīng)用程序，其中包含不同的 AI 模式、圖形和其他處理功能。

圖 2.使用 Omniverse ACE 構(gòu)建的化身 AI 工作流管道示例

內(nèi)置設(shè)計(jì)規(guī)則和驗(yàn)證是 UCF Studio 開發(fā)環(huán)境的一部分，以確保在其中構(gòu)建的應(yīng)用程序在構(gòu)造上是正確的。完成后，應(yīng)用程序可以打包到支持 NVIDIA GPU 的容器中，并使用 Helm 圖表輕松部署到云中。

建造 Violet ， NVIDIA Tokkio 化身

NVIDIA Tokkio 在 GTC 主題演講中展示，代表了使用 Omniverse ACE 開發(fā)虛擬形象的最新進(jìn)展。在 demo 中，黃仁勛介紹了 Violet ，這是一個(gè)基于云的交互式客戶服務(wù)化身，完全自主。

Violet 是使用 NVIDIA Tokkio 應(yīng)用程序工作流開發(fā)的，該工作流使交互式化身能夠智能地查看、感知、交談，并提供建議以增強(qiáng)在線和餐廳、商店等地方的客戶服務(wù)。

雖然用戶界面和特定的 AI 微服務(wù)組件將在 UCF Studio 中繼續(xù)完善，但如何創(chuàng)建化身 AI 工作流管道并部署它的核心過程將保持不變。您將能夠快速選擇、拖放和切換微服務(wù)，輕松定制您的頭像。

首先是一個(gè)裝備齊全的化身和一些在 Omniverse 中渲染的基本動(dòng)畫。使用 UCF Studio ，您可以選擇必要的組件使 Violet 角色具有交互性。這個(gè)例子包括 Riva 自動(dòng)語(yǔ)音識(shí)別（ ASR ）和文本到語(yǔ)音（ TTS ）功能，使她能夠聽和說(shuō)， Omniverse Audio2Face 提供必要的動(dòng)畫。

然后，將 Violet 連接到食品訂購(gòu)數(shù)據(jù)集，使她能夠處理客戶訂單和查詢。完成后， UCF Studio 會(huì)生成一個(gè) Helm 圖表，該圖表可以通過一系列 CLI 命令部署到 Kubernetes 集群上。現(xiàn)在，紫羅蘭化身正在云中運(yùn)行，可以通過基于 web 的應(yīng)用程序或物理食品服務(wù)亭進(jìn)行交互。

接下來(lái)，更新她的語(yǔ)言模型，以便她能夠回答與食物訂單無(wú)關(guān)的問題。 NVIDIA Tokkio 應(yīng)用程序框架包括使用 NVIDIA NeMo Megatron 構(gòu)建的可定制預(yù)處理自然語(yǔ)言處理（ NLP ）模型。她的語(yǔ)言模型可以通過返回 UCF Studio 并更新推斷設(shè)置來(lái)更新，在這種情況下，可以更新為預(yù)先部署的 Megatron 大型語(yǔ)言模型（ LLM ）微服務(wù)。 Violet 已經(jīng)重新部署，現(xiàn)在可以回答更廣泛的開放領(lǐng)域問題。

Omniverse ACE 微服務(wù)還將支持在第三方引擎中呈現(xiàn)的化身。您可以切換出 NVIDIA Tokkio 管道正在驅(qū)動(dòng)的化身。回到 UCF Studio ，替換 Omniverse Audio2Face 的當(dāng)前微服務(wù)輸出，以驅(qū)動(dòng)使用 Epic’s MetaHuman in Unreal Engine 5 創(chuàng)建的虛擬形象 UltraViolet 。

關(guān)于作者

Stephanie Rubenstein 是 NVIDIA 的產(chǎn)品營(yíng)銷經(jīng)理，負(fù)責(zé)推動(dòng)整個(gè)開發(fā)人員網(wǎng)絡(luò)采用 XR SDK 。她擁有近十年的經(jīng)驗(yàn)，幫助早期初創(chuàng)企業(yè)和 Facebook 等全球公司成功構(gòu)建并推出了跨增強(qiáng)現(xiàn)實(shí)、云計(jì)算和開源的創(chuàng)新產(chǎn)品。

Alex Qi 是英偉達(dá) AI 軟件集團(tuán)的產(chǎn)品經(jīng)理。她的重點(diǎn)是對(duì)話 AI 框架（ Riva ）和多媒體流 AI / ML （ Maxine ）的 AI 軟件和應(yīng)用程序。在加入 NVIDIA 之前，她在領(lǐng)導(dǎo)技術(shù)和工程組織中各種角色的具有挑戰(zhàn)性的技術(shù)項(xiàng)目方面擁有豐富的經(jīng)驗(yàn)，如數(shù)據(jù)科學(xué)家、計(jì)算建模和設(shè)計(jì)工程。

審核編輯：郭婷