元宇宙熱潮迭起,推動了虛擬數字人產業發展。當前,隨著虛擬人技術日益成熟,相關產業鏈逐漸成型,以及虛擬人的智能化、多元化應用不斷完善,數智人發展逐漸成為行業趨勢。
深圳幻影未來信息科技有限公司(以下簡稱“幻影未來”)專注于虛擬人互動的內容研發,是領先的虛擬人及互動方案、AI 數智人創新提供商。借助NVIDIA Omniverse Audio2Face和NVIDIA RTX GPU,幻影未來加速虛擬人 Kiko 的語音及表情訓練,助力打造高品質 AI 數智人。
虛擬人語音互動與表情變化仍需優化
虛擬現實技術的演進和虛擬人行業的逐步發展,帶動直播、電商、娛樂行業等逐漸開展虛擬人產業布局。幻影未來從虛擬人直播入手,蓄力將虛擬人 Kiko 打造成虛擬人 IP。由于目前虛擬人主播與觀眾之間的溝通場景仍需豐富,幻影未來立足技術背景,著力開展虛擬人的技術升級。
利用現有技術,虛擬人主播可實現語音輸入輸出及相應動畫展示,但仍缺乏相應的互動力和表現力,因此,在語音互動和表達的基礎上,驅動虛擬人產生豐富而逼真的表情以提升與用戶之間的溝通水平、加強虛擬人與用戶間的情感交流仍是行業發展的痛點。
Omniverse Audio2Face + RTX GPU
加速虛擬人訓練與升級
幻影未來通過 NVIDIA 初創加速計劃了解到,借助 NVIDIA Omniverse Audio2Face 可以直接將虛擬人語音轉換為嘴型和表情動畫,其在使用和測試后,對輸出的表情 BS 進行改造并訓練自定義模型,同時借助 NVIDIA RTX GPU,加速對虛擬人訓練大量數據的交換與處理。
Omniverse Audio2Face 是一款由 AI 提供技術支持的應用,僅憑借一個音頻來源便能生成面部表情動畫。Audio2Face 可簡化 3D 角色的動畫制作,與任何配音音軌匹配,在交互式應用場景中可以使用該應用,也可將其用作傳統的面部動畫創作工具,實時運行結果或烘焙結果都可輕松獲得。借助 Omniverse Audio2Face,幻影未來只需錄制語音音軌,輸入到該應用中,即可生成生動的虛擬人面部表情。
虛擬人模型訓練包括數據采集和清洗、數據處理和數據訓練,訓練過程中數據量龐大,對數據處理能力要求較高,幻影未來借助 RTX GPU,相較于常規硬件訓練方法而言,訓練時間可縮短至 10 分鐘左右,訓練速度提高了 99% 以上。
數智人服務場景拓寬
元宇宙基礎服務潛力無限
NVIDIA Omniverse Audio2Face 與 NVIDIA GPU 加速平臺賦能幻影未來實現虛擬人語音和表情動畫升級,使傳統虛擬人向數智人的升級成為了可能?;糜拔磥淼奶摂M人表現力解決方案助力豐富數智人服務場景,推動了元宇宙基礎服務的豐富和發展。
幻影未來創始人兼 CTO 姜龍表示,“未來元宇宙中的應用軟件一定不是以 APP 形式展現,也一定不會是需要通過點擊操控 UI 的形式出現,我相信未來元宇宙中的所有服務是以數智虛擬人形式出現,通過自然交互的方式來進行,這一天不會太遠?!?
審核編輯 :李倩
-
NVIDIA
+關注
關注
14文章
5025瀏覽量
103266 -
虛擬數字
+關注
關注
0文章
18瀏覽量
7072 -
元宇宙
+關注
關注
13文章
1397瀏覽量
11492
原文標題:Omniverse Audio2Face 加速 AI 虛擬數字人的語音與表情訓練
文章出處:【微信號:Leadtek,微信公眾號:麗臺科技】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論