今年 11 月，NVIDIA 創始人兼首席執行官黃仁勛在一次活動后偶遇了兩位正在直播的歌手，黃仁勛加入其中，為她們的音樂喝彩。新的一年將至，以 AI 打造的實時對話 AI 虛擬化身 Toy Jensen 為大家獻曲并送上暖心的節日祝福！

創建 Toy Jensen：

NVIDIA Omniverse Avatar Cloud Engine

這段 Toy Jensen 的表演視頻展示了 NVIDIA Omniverse Avatar Cloud Engine （ACE） 平臺的部分核心技術。Omniverse ACE 是一個云原生 AI 微服務和工作流的集合。開發者可以使用它輕松構建、自定義和部署引人入勝的交互式虛擬形象。

目前市場上的虛擬化身開發工作需要專業的知識、專業的設備以及大量人手。而 Omniverse ACE 則不同，它建立在 NVIDIA 的統一計算框架 （UCF） 基礎上，可以使用更少的代碼快速創建和配置AI流程。

NVIDIA 技術項目經理 Cyrus Hogg 表示：“這是一項令人驚喜的技術，而我們能夠做到這一點也非常了不起。”

Toy Jensen 演唱背后技術揭秘

為了帶來一場精彩的表演，NVIDIA 的團隊使用最近開發的語音轉換模型，從他們提供的樣本中提取出專業歌手的聲音并將其變成 Toy Jensen 的聲音。Toy Jensen 原來的聲音是使用數小時的真實錄音訓練開發而成。這次，團隊使用該樣本中的音調并將其應用于 Toy Jensen 的數字聲音，讓虛擬化身以原歌手相同的音調和節奏唱歌。

NVIDIA 的創作團隊甚至和曾與 Michael Bublé 和 David Foster 合作過的作曲家兼制作人 Jochem van der Saag 一起為 Toy Jensen 創作了完美的伴奏曲。

NVIDIA 技術項目經理 Cyrus Hogg 表示：“我們請 van der Saag 作曲，并為我們編排這首歌。這很好地彌補了我們團隊的不足，我們十分高興他能夠加入。”

雖然將所創建的音樂曲目轉換成一個精致的視頻只用了幾個小時，但 Omniverse ACE 技術背后的團隊花了數年時間來開發和調整這段表演中所展示的技術。

Audio2Face 與 Audio2Gesture

實現真實的面部表情和身體動作

NVIDIA 的創作團隊使用了 Omniverse ACE，Omniverse Audio2Face 和 Audio2Gesture 技術，僅根據 Toy Jensen 的音頻就為這段動畫表演生成了逼真的面部表情和身體動作。

ACE 將徹底改變虛擬體驗

Toy Jensen 的視頻淋漓盡致地展示了 NVIDIA Omniverse ACE 及其如何被應用于各行業的虛擬活動、在線教育和客戶服務，并且如何被用于為視頻游戲、社交媒體和虛擬現實體驗創造個性化的虛擬化身。

暖心互動贏好禮

您認為視頻背后的哪項技術最令人驚喜？參與下方投票并評論留言，即可參與活動！

活動截止于 12 月 30 日 早 11點，將抽取 1 位獲贊最高的評論，送出 NVIDIA 定制暖冬衛衣一件！